如何备案成企业网站,网站维护 代码,国内网站排名,青岛cms模板建站1、概述 ISP#xff08;Image Signal Processor#xff09;图像信号处理器是专门用于处理图像信号的硬件或处理单元#xff0c;广泛应用于图像传感器#xff08;如 CMOS 或 CCD 传感器#xff09;与显示设备之间的信号转换过程中。ISP通过一系列数字图像处理算法完成对数字…1、概述 ISPImage Signal Processor图像信号处理器是专门用于处理图像信号的硬件或处理单元广泛应用于图像传感器如 CMOS 或 CCD 传感器与显示设备之间的信号转换过程中。ISP通过一系列数字图像处理算法完成对数字图像的效果处理。主要包括3A、坏点校正、去噪、强光抑制、背光补偿、色彩增强、镜头阴影校正等处理。ISP包括逻辑部分以及运行在其上firmware。
名词解释
3A表示自动曝光(AEAuto Exposure)、自动白平衡(AWBAuto White Balance)、自动对焦(AFAuto Focus)
1.1功能描述
镜头将光信号投射到sensor的感光区域后 sensor经过光电转换将Bayer格式的原始图像送给ISP ISP经过算法处理输出RGB空间域的图像给后端的视频采集单元。在这个过程中 ISP通过运行在其上的firmware对ISP逻辑 lens和sensor进行相应控制进而完成自动光圈、自动曝光、自动白平衡等功能。其中 firmware的运转靠视频采集单元的中断驱动。
1.2基本概念
1色温不是色的温度是表明白光光源光谱成分的标志。
2白平衡AWB:就是摄像机对白色物体的还原。在不同色温的光源下白色在传感器中的响应会偏蓝或偏红。白平衡算法通过调整R, G, B三个颜色通道的强度使白色真实呈现。不通色温值对应的色温渐变如下图所示。 色温是一个被量化的数值那么就也会存在高低之分而且在我们的视觉感受上也会存在差异。低色温光源的特征是能量分布中红辐射相对要多些通常称为“暖光”色温提高后能量分布中蓝辐射的比例增加通常称为“冷光”。
二者关系为了更好的理解白平衡这边需要引入另外一个概念 —— 色温。色温是表示光线中包含颜色成分的一个计量单位。色温可以理解为以开尔文温度表示色彩。根据马克斯·普朗克的理论将一个完全吸收与放射能力的标准黑体加热温度逐渐升高光度亦随之改变。CIE色度坐标中的黑色曲线显示黑体由红 - 橙红 - 黄 - 黄白 - 白 - 蓝白的过程。
不同光线下色温相差十分悬殊造成摄像机在不同的光线下彩色还原不同。为解决这个问题现在的摄像机都具有白平衡校正功能对不同的色温进行补偿从而真实地还原拍摄物体的色彩。自动白平衡使得摄像机能够在一定色温范围内自动地进行白平衡校正其能够自动校正的色温范围在2500K-7000K之间超过此范围摄像机将无法进行自动校正而造成拍摄画面色彩失真此时就应当使用手动白平衡功能进行白平衡的校正。
AWB 算法通常包括的步骤如下
(1)色温统计 根据图像统计出色温(2)计算通道增益 计算出R 和B 通道的增益(3)进行偏色的矫正 根据给出的增益 算出偏色图像的矫正。
3颜色校正矩阵CCMColor Correction Matrix颜色校正的工作原理是通过一个矩阵系数来校正图像传感器获得景物的RGB图像数据使其接近人眼真实看到的颜色。如下图所示 4图像处理模块IMP(Image Processing)
主要包括以下模块
1Sharpen模块用于增强图像的清晰度包括调节图像边缘的锐化属性和增强图像的细节和纹理的清晰度同时还能分别独立控制图像的带方向的边缘和无方向的细节纹理的锐化强度。此外还能控制锐化后的图像的overshoot白边白点和undershoot黑边黑点以及抑制噪声的增强。
2Gamma模块对图像进行亮度空间非线性转换以适配输出设备。Gamma模块校正R、G、B时调用同一组Gamma表 Gamma表各节点之间的间距相同节点之间的图像像素值使用线性插值生成。
3DRC算法用于对WDR合成后的数据进行动态范围压缩Dynamic Range Compression。图像一般需要在显示设备上显示 CRT显示器的动态范围一般只有 50dB而WDR合成后的数据的动态范围可以达到120dB如果直接在CRT显示器上显示就会由于动态范围不匹配的问题造成丢失亮度较高或者较低处的细节。 DRC算法的目的就是要使真实场景的观察者和显示设备的观察者都能获得相同的视觉感受。DRC算法将高动态范围的图像压缩到显示器的动态范围同时尽可能的保留原图像的细节和对比度。
4LSC模块主要用来处理由于镜头光学折射不均匀导致的镜头周围出现阴影的情况。目前流行的处理方式有Radial同轴圆方式以及Mesh网格方式。
5Defect Pixel坏点检测模块DPC算法通过在5x5的窗口中通过某些坏点检测算法找到该窗口中明显异于临近像素的坏点。该模块主要包含以下两种模式静态坏点标定/校正有两种流程亮点和暗点流程。在亮点流程中光圈处于关闭状态启动坏点标定程序得到坏点坐标信息。坏点个数的总数由坏点校正模块的memory决定的。得到的坏点通过临近像素的中值滤波进行校正。
6Crosstalk Removal模块的主要功能是为了平衡raw数据上临近像素Gr和Gb之间的差异能够有效防止demosaic插值算法产生的方格或其他类似pattern。由于sensor可能会因为特殊角度的光线入射而产生Crosstalk形成一些pattern根本原因就是因为临 近像素值之间Gr和Gb值域不一致。
7图像去噪是数字图像处理中的重要环节和步骤去噪效果将对后续图像处理产生影响。该去噪模块基于噪声标定结果建立更符合噪声特性的去噪模型且可根据不同 sensor做标定模型定制化。 NR在Bayer域进行空域去噪处理和时域去噪处理。利用动静检测机制对图像分前景和背景分别处理来抑制噪声提高整体图像信噪比。
8Dehaze是通过动态的改变图象的对比度和亮度来实现的将图像分块统计每块内的像素值估算出雾的浓度根据局部自适应曲线调整去雾强度。Dehaze分为手动和自动模式两种模式下均可调节去雾强度。
9去伪彩高频分量在图像插值时易引起高频混叠。用镜头对准一个分辨率测试卡当sensor表 面没有OLPF时在分辨率的高频部分容易出现伪彩。 去除伪彩主要是指去除高频部分因插值错误所导致的伪彩现象。增大去伪彩强度值会减弱伪彩现象但可能导致正常的颜色灰度化。 该模块原理是计算出伪彩出现区域及范围通过可配去伪彩强度寄存器值调整去伪彩强度值将RGB三个通道值灰度化从而达到减弱伪彩现象的目的。
10去马赛克Demosaic模块实现的功能是将输入的Bayer数据转化成RGB数据。CFAColor Filter Array彩色滤波阵列得到的Bayer数据每一像素点只能获得R、G、B三基色中的 一种彩色分量值。为获得彩色图像需要利用当前像素及周围像素的色彩分量值估计出当前点缺失的其他两个分量值。 该模块能输出较高的图像分辨率对弱细节及清晰度有较大提升。
11BayerSharpen模块用于增强图像的弱纹理清晰度同时还能控制锐化后的图像的overshoot和undershoot以及抑制噪声的增强。
12黑电平通常指没有外界光线输入时 sensor仍会输出的亮度值。ISP需要减去这个亮度值以进行颜色的处理。
13去固定模式噪声Sensor将光信号转换成电信号再通过数百万个ADC器件后输出图像。每个像素结构 中的光电二极管的尺寸、掺杂浓度、生产过程中的沾污以及MOS场效应管的参数的偏 差等都会造成像素输出信号的变化由于这些偏差造成的噪声对于给定的单个像素它 是固定的这种噪声就是固定模式噪声FPNFixed Pattern Noise。
14颜色调整模块支持在YUV空间进行色域调整的操作这个模块下有两个模式 一个是CA模式另外一个是CP模式热成像上色工作的时候两者只能二选一。 在CA模式下通过下面的公式可以将一个像素点 YUV 映射到另一个像素点 Y’,U’,V’。
15色差(Chromatic Aberration)是指光学上透镜无法将各种波长的光聚焦在同一点上的现象是一种与镜头有关的缺陷它产生的主要原因是不同波长的光具有不同的折射率 色散现象。色差可以分为如下的两类 ● 轴向色差(Axial Chromatic Aberration) 透镜对于不同的光会有不同的折射率因此不同颜色的光会聚焦在不同的焦平面上大口径镜头容易产生这种色差缩小光圈可以减弱轴向色差。 人眼对于G通道更敏感 一般G通道可以正确对焦从而引起R、B的模糊造成高光区与低光区交界处出现明显的紫边表现。 ● 横向色差(Lateral Chromatic Aberration) 透镜的放大倍数也与折射率有关它使得不同波长光线的像高不同即不同波长的光会聚焦在焦平面上不同的位置会造成R 、G、B 3通道具有不同的影像高度在影像上产生色的错位。 越偏离图像中心横向色差越明显 一般横向色差表现为物体相对的两侧边缘出现不同的颜色但具体表现为什么颜色与镜头组密切相关不同的镜头组会表现出不同种类的颜色边缘。 CAC模块的作用是对图像中的色差进行自动检测与校正包含ACAC和LCAC两种色 差校正算法 ACAC作为主要校正算法不仅可以校正纵向色差还可以校正横向色差 LCAC作为辅助校正算法当色差严重时ACAC无法完全校正可再结合作用于局部色差的LCAC进行校正。 (16)WDR: 由于传统的图像传感器的动态范围比较低因此如果用传统的图像传感器拍摄高动态范围的场景就会要么亮处过曝丢失很多细节要么暗处曝光不足细节难以分辨。为了记录高动态范围场景的每一个细节可以采用多次曝光图像合成的方法。WDR算法的目的就是将从sensor输出的长短帧数据合成为一帧20bit的数据。长短帧数据是先缓存在DDR中然后同时给WDR模块进行合成。合成的原则是择优选取即对于比较亮的区域采用短帧数据而对于比较暗的区域采用长帧数据。 (17)AWB量产标定工具AWB量产标定结果通过修正AWB的静态白平衡系数实现个体差异校正。因此用户通过MPI接口修改静态白平衡系数会导致量产标定失效。 AWB量产标定工具实现在量产过程中针对不同机器的差异进行对AWB差异参数校正的功能。用户可以调用 ss_mpi_isp_get_lightbox_gain 接口在色温范围4500K到6500K的均匀光源下的均匀背景环境下获取图像中心若干个块的Rgain和Bgain的均值即AWB增益用于量产过程中矫正不同机器的AWB差异参数。 18ColorTone提供色调调节接口用户可通过该接口实现图像颜色偏红、偏绿、偏蓝等喜 好调节。 19LDCI是局域自动对比度增强的简称Local Dynamic Contrast Improvement。该算 法采用局域直方图均衡来增强图像局部对比度提升暗区细节。 20Radial Crop在YUV域对图像进行radial crop操作将设定半径之外的地方直接拉黑掉。 21色彩空间转换模块(Color Space Conversion)用来将RGB信号转换成符合标准的YUV信号。 22CLUTCOLOR_3D_LUT是利用线性RGB空间17x17x17分格的3D LUT实现复杂的颜色调整操作比如亮度的调整饱和度的调整色调的调整。阴影区域中间亮度区域高亮区域分别调整。它将像素的RGB信号的bit高位用来查找像素点位于表中的位置利用RGB信号的bit低位用来在表的一个方格中插值出精确的偏移量。将偏移量应用于原像素值得到调整后的最终像素值从而使颜色得到调节。 23从地址空间来分当前ISP模块可分为五个部分 AE库、 AWB库、 AF库、 ISP物理寄存 器模块、ISP其他模块。 24Inner State Information接口的作用是输出数个与ISO相关的参数其逻辑寄存器当前配置的真实值。 用户在调试过程中可以通过MPI接口读取这些真实值参数观察参数强度是否正确配置。通过该接口用户只可以获取参数而非操作改变该寄存器里的值。 25DNG (Digital Negative)是Adobe开发的一种开放的 raw image ile format里面使用的tag基本上都定义在TIFF或者TIFF/EP中在DNG Sepcification中只是定义或者建议了数据的组织方式颜色空间的转换等等。DNG spec标准文档来定义和确定具体的dng数据格式对标准文档中定义的标签和规定根据实际应用场景和客户需求选择必要的最小集合实现。将raw数据封装成标准dng文件可以由dng解析工具进行解析。 26
