jeecms 怎么建设网站,iis5.1发布网站,wordpress数据库说明,有创意的文创产品目录 前沿一. 自动曝光AE1.1. 自动曝光1.2. 18%灰1.3. 测光区域1.4. 摄影曝光加法系统1.5. AE算法1.5.1. 考虑事项1.5.2. AE实现过程 1.6. AE算法 二. 自动对焦AF2.1. 什么是自动对焦2.2. 图像清晰度评价方法2.2.1. Brenner 梯度函数2.2.2. Tenengrad 梯度函数2.2.3. Laplacian… 目录 前沿一. 自动曝光AE1.1. 自动曝光1.2. 18%灰1.3. 测光区域1.4. 摄影曝光加法系统1.5. AE算法1.5.1. 考虑事项1.5.2. AE实现过程 1.6. AE算法 二. 自动对焦AF2.1. 什么是自动对焦2.2. 图像清晰度评价方法2.2.1. Brenner 梯度函数2.2.2. Tenengrad 梯度函数2.2.3. Laplacian 梯度函数2.2.4. 方差函数2.2.5. 能量梯度函数 2.3. 聚焦函数2.4. 自动对焦原理2.5. 对焦算法2.5.1. 测距法2.5.2. 图像分析法被动聚焦2.5.2.1 相位检测2.5.2.2. 对比度检测聚焦 三. 自动白平衡AWB3.1. 色温和颜色恒常性3.2. 白平衡矫正3.3. 矫正方法3.3.1. 灰度世界理论3.3.2. 完美反射法3.3.3. QCGP3.3.4. 模糊逻辑算法3.3.5. 基于白点的算法3.3.6. 基于边缘的方法 前沿
最近在学习3A技术简单记录一下。 我们先来看下什么是3A技术 3A即自动对焦AF自动曝光AE自动白平衡AWB 补充通常在进行3A算法的时候会有一个先后顺序AWB-AE-AF
AF控制对焦马达的移位使镜头定焦在合适的位置AEAuto Exposure即自动曝光是相机根据外界光线的强弱自动调整曝光量和增益防止曝光过度或者不足的一种机制。通过调节快门光圈感光度(ISO)使得图像达到合适的亮度AWB通过调整图像的R/B通道的增益值调节图像的色温/色调表现
问为什么调节白平衡只有R和B的增益 答简化电路减少调节过程以及带来的工作量相应的增加。2、通过合理调节R-Drive和B-Drive配合固定的G-DriVe完成亮平衡校对工作。这好比一只三条腿的桌子一条腿固定调节另外两条腿的长短使桌面达到水平状态。亮平衡只有R和B一般是长虹彩电的特征。 AF控制着对焦马达是镜头的基本功能AE与AWB自动白平衡算法来实现图像对比度最大、改善主体拍摄物曝光或曝光不足、使画面在不足光线照射下的色差得到补偿。3A是每个相机的基本算法功能每个A都代表了成像的基本组件总结一下 AE控制着ISO/快门是sensor的基本功能AF控制着对焦马达是镜头的基本功能AWB是camera色彩系统的第一个基础模块3A准确率是成像的基本保证 关于上面的光圈快门ISO的含义知乎上有一个很绝的解释 感兴趣的也可以跳转到这个话题看一下如何理解 ISO、快门、光圈、曝光这几个概念。
一. 自动曝光AE
1.1. 自动曝光
先来看下自动曝光的概念然后在看几个跟其相关的概念
AE的基本概念 Auto Exposure即自动曝光是相机根据外界光线的强弱自动调整曝光量和增益防止曝光过度或者不足的一种机制。 可见AE的输入为当前影像的亮度值Y输出为sensor的曝光时间和增益isp增益和镜头光圈如果镜头光圈可调。当AE algorithm得到当前帧的亮度后便会与target Y做比较然后计算出下一次需要调整的参数以便让影像的亮度越来越接近target Y如下所示target只是一个范围
曝光是什么 以摄影为例曝光指摄影过程中进入镜头照射在感光元件上形成影像的过程就是曝光这个过程由光圈、快门、感光度的组合来控制。什么是曝光量 图像传感器所接受的光量用H表示单位是勒克斯·秒公式如下 H E × t H E \times t HE×t
E为照度单位是勒克斯(lx )t为感光材料受到光线照射的时间单位是秒( s )曝光量H的单位为勒克斯·秒( lx·s )
解释下上面照度的意思 照度又称为投射光是描述被摄体受照表面被照明的程度。照度定义为单位面积上所接受的光通量照度E用公式表示为 E Φ / A E\Phi/ A EΦ/A Φ \Phi Φ 为光通量, 单位为流明 ( I m ) (I m) (Im) A A A 为受照面积, 单位为平方米 ( m 2 ) \left(\mathrm{m}^2\right) (m2) 。
什么是曝光强度 曝光强度 曝光时间 × 光圈大小 × I S O 曝光强度 曝光时间\times 光圈大小\times ISO 曝光强度曝光时间×光圈大小×ISO
相机上的光圈是固定的所以只需要考虑曝光时间和ISO增益值的一种表示这里的增益又分为Analog GainDigital Gain以及ISP 增益。这里记住ISO指的就是信号增益大小就行了。 4. 自动曝光 有了上面的三个概念我们再来看下相机的自动曝光怎么定义的相机上的自动曝光就是让相机根据当前的图像信息自动配置曝光大小也就是曝光时间和ISO的值。下面是一组不同曝光强度下的相机成像对比。
1.2. 18%灰
我们再来看下曝光相关的另一个概念18%灰。在介绍这个概念之前我们需要了解两个相关概念韦伯定律和曝光分区系统。
韦伯定律 即感觉的差别阈限随原来刺激量的变化而变化而且表现为一定的规律性可用如下公式来表示 Δ Φ / Φ C \Delta \Phi / \PhiC ΔΦ/ΦC 其中 Φ \Phi Φ 为原刺激量 Δ Φ \Delta \Phi ΔΦ 为此时的差别阈限C为常数又 称为韦伯率。看起来有点难理解说人话就是人对自然刺激的感知是非线性的刺激以一定比例的增长对人而言是均匀增长的。曝光分区系统 再来看下曝光分区系统。这是由 Ansel Adams 和 Fred Archer在1940年左右所阐述如下图所示将人眼对于从黑到白渐进的变化分为11阶将处于当中的块5认为是适中的曝光强度称为中灰。而5块的光照反射率是18%也就是定义的18%灰。因此专业摄影师通常会使用测光表来判断环境光来决定拍照的曝光强度使得照片的整体曝光强度在18%灰左右。但是也要结合具体情境进行设置比如说在拍摄雪景的时候再把曝光度调为18%的话就会使得照片偏黑即我们说的“白增黑减”。
1.3. 测光区域
再来看一个相关概念测光区域。通常一个图片中同时存在亮与暗的区域如果把所有区域都纳入考虑来算一个平均值可能不能如实反映拍照者的期望所以会有个重点测光区域。根据不同算法测光区域也不同。比较原始的是将整个区域分为 M × N M \times N M×N个区域取中心的 X × Y X \times Y X×Y区域手机上通常有针对人脸区域测光、中心测光与点测光。测光区域也有一定的权重分布通常在中心的区域权重会更大一些。
1.4. 摄影曝光加法系统 E V A V T V B V S V EV AV TV BV SV EVAVTVBVSV
EVExposure Value将相机的曝光形成数字化曝光值AVAperture Value 光圈值TVTime Value 快门值SVSensitive Value 感光值 (ISO)BVBrightness Value亮度值环境亮度
关于上面每个值的计算方法如下 根据上面的公式可以得到 E V A V T V B V S V EV AV TV BV SV EVAVTVBVSV的公式为 2 ∗ log 2 ( F number ) − log 2 ( 1 exposure time ) log 2 ( B / 0.3 K ) log 2 ( 0.3 S ) 2 * \log _2(\mathrm{F}_ \text {number })-\log _2\left(\frac{1}{\text { exposure time }}\right)\log _2(B / 0.3 K)\log _2(0.3 S) 2∗log2(Fnumber )−log2( exposure time 1)log2(B/0.3K)log2(0.3S) 其中 F n u m b e r F_{number} Fnumber是镜头光圈值大小我们常说的 F 1.4 F_{1.4} F1.4 F 4.0 F_{4.0} F4.0等 B B B是景物亮度单位是 C d / c m 2 Cd/cm2 Cd/cm2
1.5. AE算法
在了解了上面的基本概念之后我们来看下AE的算法步骤以及需要考虑的问题。
1.5.1. 考虑事项
在一个响应周期内AE算法需要处理的具体事项如下 根据ISP硬件生成的图像曝光统计数据评估当前图像的曝光质量如果曝光质量需要调整则根据当前的工作参数和理想曝光目标生成下一帧图像的工作参数将新的工作参数写入各硬件设备驱动光圈、sensor快门及增益达到新的位置 1.5.2. AE实现过程 对当前图像进行亮度统计根据当前图像亮度确定曝光值计算新的曝光参数曝光时间光圈和增益将新的曝光参数应用到相机中重复1-4的步骤直到满足亮度需求 1.6. AE算法
均值法AE直方图改进的均值法AEN段式统计法
二. 自动对焦AF
2.1. 什么是自动对焦 自动对焦是利用物体光反射原理将反射的光被相机上的传感器CCD光电转换器将光信号转换为电信号的传感器所接受通过计算机处理带动电动对焦设备进行对焦的方式叫做自动对焦。就是移动对焦设备使得成像清晰。 在了解自栋对焦算法之前我们需要知道几个常见名词有些是初中物理已经见过的。
像距像距是像CCD传感器到平面镜或透镜的光心之间的距离一般用v表示。物距物体到透镜中心的距离一般用表示u表示。焦距镜头中心点到行程码清晰影像胶片或者CCD的距离也就是焦距反映的是清晰成像的距离一般用f表示。景深拍摄一张照片的时候照片中的最近物体和最远物体之间能够清晰成像的部分就是景深。凸透镜就是我们说的放大镜中间厚两边薄。相机镜头通常都是凸透镜构成。
我们来看一下凸透镜成像原理 人眼其实就是个可变焦的凸透镜。视网膜可以等效成CCD人的大脑会自动的把倒立的像给处理成正向的。 成像公式 1 f 1 u 1 v \frac{1}{f} \frac{1}{u} \frac{1}{v} f1u1v1
fuv分别表示焦距物距像距。
2.2. 图像清晰度评价方法 既然自动对焦是要让CCD接受清晰的图像我们知道人眼很容易判断一个图像是否清晰那么相机应该怎么判断一个图像是否清晰呢方法有很多我们简单介绍常用的几个。
2.2.1. Brenner 梯度函数
Brenner梯度函数是最简单的梯度评价函数它只是简单的计算相邻两个像素灰度差的平方 其中f(x,y) 表示图像f对应像素点(x,y)的灰度值D(f)为图像清晰度计算结果。
2.2.2. Tenengrad 梯度函数
Tenengrad 梯度函数采用Sobel算子分别提取水平和垂直方向的梯度值基与Tenengrad 梯度函数的图像清晰度定义如下 G(x,y) 的形式如下
2.2.3. Laplacian 梯度函数
Laplacian 梯度函数与Tenengrad梯度函数基本一致用Laplacian算子替代Sobel算子即可该算子定义如下 因此基于Laplacian 梯度函数的图像星清晰度的定义如下 其中G(x,y)是像素点(x,y)处Laplacian算子的卷积。
2.2.4. 方差函数
因为清晰聚焦的图像有着比模糊图像更大的灰度差异可以将方差函数作为评价函数 其中 μ \mu μ为整幅图像的平均灰度值该函数对噪声比较敏感图像画面越纯净函数值越小。
2.2.5. 能量梯度函数
能量梯度函数更适合实时评价图像清晰度该函数定义如下
2.3. 聚焦函数 图像对比度通常也称为锐度是用来描述图像细节分辨程度和清晰度的度量值。对比度检测聚焦采用锐度来评价聚焦的准确程度图像锐度越大也就是聚焦值越大说明越接近准确聚焦的位置。在聚焦调节范围内每 个调焦位置会对应个锐度值也就是聚焦值这些聚焦值形成 曲线通常称为聚焦曲线 。锐度值通过锐度评价函数计算获得锐度评价函数有时也称为聚焦函数。一个良好的锐度评价函数对应的聚焦曲线应该是 个如下图所示的单峰曲线并且曲线峰值对应的调焦位置即为准确聚焦的位置。 什么是聚焦峰值聚焦的准确位置对应于锐度评价函数锐度评价函数就是聚焦函数的最大峰值也只有找到最大峰值才能知道准确聚焦的位置。那么最大峰值应该怎么确定吗可以看出锐度评价函数决定了聚焦的精度而聚焦的峰值搜索算法决定了自动聚焦的速度。下图展示几种搜索算法
这部分的内容详细可以参考自动聚焦技术AF。
补充 图像清晰评价函数用来后期评估聚焦的效果聚焦函数是用来找图像焦点的注意区分两者的差别。 2.4. 自动对焦原理
对焦过程中图像仍在一直不断产生把镜头在某个位置时的那帧图像送到图像处理器ISP处理得出该图像的统计信息再把这信息送到对焦算法库可能在isp硬件上执行也可能在驱动程序软件执行对焦算法库根据硬件规范和上述统计信息算出下一步镜头该往哪个方向移动多少距离并驱动镜头到达那个位置接着在此位置得到新图像又计算统计信息计算再下一步的镜头位置…图像清晰度渐渐变化如此经过几个循环收敛图像到一定程度就认为对焦成功。 统计信息是和聚焦算法以一一对应的什么样的算法就需要ISP计算相应的统计信息。不同的对焦算法就又形成了不同的自动对焦方式不同的对焦方式有不同的对焦速度和硬件需求及设计主要针对摄像头传感器。不管什么对焦算法他的目的都是要快准狠迅速完成高质量的对焦。
2.5. 对焦算法
我们来介绍几个常见的对焦算法。
2.5.1. 测距法 一种主动聚焦方式摄像头发出红外光或超声波并接收返回光线实现测距然后借此距离计算物距实现对焦此方法精度略差高端机上已较少使用或作为其他方法的补充。现在也有激光实现快速准确聚焦如iPhone的LiDAR
2.5.2. 图像分析法被动聚焦
2.5.2.1 相位检测 相位检测聚焦是单反相机中用的最普遍的自动对焦方法这种聚焦系统一般由反光镜、微透镜以及多个成像敏感器等硬件构成 其对焦原理如图所示简单地说通过镜头的光束被分为两个部分分别在不同的两组成像敏感器上成像 如果对焦准确则两幅图像相同;如果对焦不准 则两幅图像会出现偏移 通过比较两幅图像而检测这个偏就能检测出聚焦的偏离状态。 相位检测自动聚焦的优点在于对焦迅速且比较精确 缺点在于 要独特的硬件构造造价高且其复杂的构造不适合需要结构紧凑的情况比如不适合在一般的数码相机及移动手机等平台上应用。如下图所示
2.5.2.2. 对比度检测聚焦 对比度检测聚焦是另外一种被动聚焦方法这种方法不需要额外的硬件构造它仅仅通过对连续获得的实际图像进行分析处理根据前后两帧或多帧图像的对比度计算结果来控制调焦的方向和大小。其基本原理是随着调焦向准确位置越 近图像越清晰对应的图像对比度也越大。由于不需要额外的硬件支持这种聚焦方法广泛应用于摄像机、数码相机等成像系统。 会有以下缺点: 聚焦速度相对较慢对光照较为敏感尤其是在低照度情况下容易失效当目标物缺乏明显的纹理细节(比如白色墙壁)时难以准确聚焦 下面是一个对比度检测聚焦的框架对比度检测聚焦的关键因素有两点: ①锐度评价函数:②峰值判定和搜索策略。
三. 自动白平衡AWB
先看一组图。同一光源下左边的图是在AWB没开的情况下显示的图像右边的是在AWB打开的情况下拍摄的。
3.1. 色温和颜色恒常性
在学习AWB之前我们需要先了解几个概念
色温色温描述的是具有一定表面温度的“黑体”(blackbody)的辐射光的光谱特性。简单的理解就是颜色随温度的变化规律比如生铁就是黑色加热会变成橘红色继续加热到液态会呈现偏白的颜色这种随温度而产生的颜色变化就光谱特性颜色恒常性颜色恒常是指在照度发生变化的条件下人们对物体表面颜色的知觉趋于稳定的心理倾向白平衡原理传感器不具有人眼的不同光照色温下的色彩恒定性,白平衡模块就需要将人眼看来白色的物体进行色彩的还原使其在照片上也呈现为白色通俗的讲就是讲人眼看到的白色还原为白色。
3.2. 白平衡矫正
手动白平衡在拍照前通过拍摄一个18度灰的卡片然后计算出当时环境的白平衡的gain值对后面的图片进行校正自动白平衡camera通过自己本身的算法通过获取的图像自动计算出gain值对图像进行校正的方式
3.3. 矫正方法
下面我们来看几个矫正方法。
3.3.1. 灰度世界理论 任一幅图像,当它有足够的色彩变化则它的RGB分量的均值会趋于相等。这是一个在自动白平衡方面应用极为广泛的理论。算法流程如下
计算各个颜色通道的平均值 R m e a n R_{mean} Rmean G m e a n G_{mean} Gmean B m e a n B_{mean} Bmean寻找一个参考值K因为人眼对于 G G G通道比较敏感一般一般情况选取 G m e a n G_{mean} Gmean作为参考;计算 R g a i n G m e a n R m e a n R_{gain} \frac{G_{mean}}{R_{mean}} RgainRmeanGmean, B g a i n G m e a n R m e a n B_{gain} \frac{G_{mean}}{R_{mean}} BgainRmeanGmean;对图像中的每个像素都乘以对应的gain值进行校正
3.3.2. 完美反射法 完全反射也是基于一个假说基于这样一种假设一幅图像中最亮的像素相当于物体有光泽或镜面上的点它传达了很多关于场景照明条件的信息。如果景物中有纯白的部分那么就可以直接从这些像素中提取出光源信息。因为镜面或有光泽的平面本身不吸收光线所以其反射的颜色即为光源的真实颜色这是因为镜面或有光泽的平面的反射比函数在很长的一段波长范围内是保持不变的。完美反射法就是利用用这种特性来对图像进行调整。算法执行时检测图像中亮度最高的像素并且将它作为参考白点。基于这种思想的方法都被称为是完美反射法也称镜面法。通俗的意思就是整个图像中最亮的点就是白色或者镜面反射出来的那么最亮的点就是光源的属性但是该点本身应该是白点以此为基础就可计算出gain值从而进行校正。下面怡红色通道为例展示怎么计算的
3.3.3. QCGP
这种方法将灰度世界和完全反射以正交的方式结合。下面仍以红色通道为例演示怎么计算的 u r R a v e 2 v r R a v e K a v e ; u r R max 2 v r R max K max K a v e R a v e G a v e B a v e 3 ; K max R max G max B max 3 \begin{aligned} u^r R_{\mathrm{ave}}^2v^r R_{\mathrm{ave}}K_{\mathrm{ave}} ; \\ u^r R_{\max }^2v^r R_{\text {max }}K_{\max } \\ K_{\mathrm{ave}}\frac{R_{\mathrm{ave}}G_{\mathrm{ave}}B_{\mathrm{ave}}}{3} ; \\ K_{\max }\frac{R_{\max }G_{\max }B_{\max }}{3} \end{aligned} urRave2vrRaveKave;urRmax2vrRmax KmaxKave3RaveGaveBave;Kmax3RmaxGmaxBmax
通过上面的方程组就可以解出和 然后对原像素进行校正 R n e w u r R o r g 2 v r R o r g R_{new} u^rR_{org}^{2} v^rR_{org} RnewurRorg2vrRorg
3.3.4. 模糊逻辑算法 如图圆圈表示该颜色本身应该在坐标系中所处的位置箭头分别表示随色温的变化发生的偏移这个是通过先验知识得到的后面再通过这个进行校正。 通过以上两种方式将图像分成8块然后通过模糊逻辑的方式计算出每个快的一个权重这个权重和亮度和色度相关然后通过模糊逻辑方式进行确定。求得权重后就可以计算出整个图像的加权均值如下图10a黑点表示八个块的分布X表示加权后整个图像的位置。然后目的是要让加权的这个值往白点上靠就通过调整增益的方式调试调整完增益后每个块儿的均值又会发生变化然后又重新计算出每个块的权重再通过权重计算出整个图像的均值如图10b整个图像的均值已经靠近原点了。然后如果X和白点的差距在一个设定的范围内则认为完成白平衡否则继续调整增益重复上述步骤进行校正。
3.3.5. 基于白点的算法 将RGB颜色空间转换到YUV空间转换公式如下 [ Y U V ] [ 0.3 0.59 0.11 − 0.15 − 0.29 0.44 0.51 − 0.52 − 0.095 ] [ R G D ] \left[\begin{array}{l} Y \\ U \\ V \end{array}\right]\left[\begin{array}{lll} 0.3 0.59 0.11 \\ -0.15 -0.29 0.44 \\ 0.51 -0.52 -0.095 \end{array}\right]\left[\begin{array}{l} R \\ G \\ D \end{array}\right] YUV 0.3−0.150.510.59−0.29−0.520.110.44−0.095 RGD 通过限定YUV的区域来判断是否为白点如下论文通过四个限制条件俩限制白点满足条件的点就是白点参与后续的计算否则不是点直接舍弃 通过以上四个限制条件找到白点集合后就可以对白点集合运用GW算法或者其他算法计算gain值从而进行后续的校正。
3.3.6. 基于边缘的方法
先通过一定的手段比如梯度的方式求出图像中的边缘然后在边缘各侧各取两个点参与计算通过上述得到的参考点集合就可以运行灰度世界或者其他的算法求出gain值 优点减少的大色块的干扰因为一般认为边缘就是色块变化的的分界线那么提取边缘两侧的样本点就可以满足颜色充分的条件那么就可以运用灰度世界法求出gain.而且有大色块的时候计算的也是也只是选取边缘的几个点就可以避免大色块分量太大造成白平衡异常的问题。
下面看展示几个白平衡算法效果图灰度世界理论完全反射QCGP算法。
