安徽建设工程信息网站郑州地区网站建设公司
目录
一、概述
二、通用流程
三、典型场景
1. SAT
2. Bokeh背景虚化 + MFNR
3. HDR（DOL、DCG等）
一、概述
本文解释isp pipeline的一些非常典型的场景，不同厂商对pipeline的连接及node的port口设计可能不同，但核心的思想相同。纯干货！
二、通用流程
一般走向都是sensor，FE0/1/2/..., BE，PE。CVE在旁路进行特征点提取、匹配、映射，各种H矩阵求取等计算，输出给PE或NPU（Face Detection或Motion Detection）等。
FE输出Ideal Raw图给BE，几帧的Ideal Raw图一般存于ZSL队列。
BE进行RAW2YUV处理，输出FULL size图 + DS4图的YUV图给PE经过分时复用实现多pass降噪。
PE输出的就是最终的预览图，给DPU送显。
FE一般会额外输出一路Y图给CVE，用于计算TNR H Matrix，CVE输出的TNR H matrix会作用于PE的TNR warp模块，TNR降噪。当然，这与SAT关系不大，而是预览正常处理。
ZSL队列用于拍照瞬间获取多帧合成still image。
FE\BE\PE\CVE的概念请自己对应，不同厂商不一样。
三、典型场景
1. SAT
SAT一般在普通拍照预览和录像预览下开启，至少两个sensor。
- Main sensor输出：Main Stream + SAT专用Y图
- Slave sensor输出：SAT专用Y图
master sensor输出几张IdealRaw图存于ZSL队列，这个是主图，经过BE、PE处理后用于预览。master sensor和slave sensor分别连接的FE0和FE1会输出SAT专用小Y图给CVE计算SAT H matrix，作用于PE的EIS warp模块，将main图的FOV对齐到slave图。
- 当master为大fov，slave为小fov，上面正常的SAT处理。
- 当master为小fov，slave为大fov，只有当slave切换为master时SAT H matrix才会作用于EIS warp。
对于SAT，只有master sensor的FE会输出用于TNR的Y图给CVE，因为预览图来源于master sensor，slave sensor主要是用于配合计算SAT H matrix。
2. Bokeh背景虚化 + MFNR
至少需要两个Sensor。
对于预览，Main sensor的PE和Sub sensor的PE均会输出YUV小图给CVE，计算Main-sub H Matrix，生成depth map小图Y格式。depth map作用于Main sensor的PE输出的预览流，进行Bokeh处理。
对于拍照，前面会多一步。FE0和FE1的Ideal RAW输出都会经过RAW MFNR处理，MFNR需要FE0/1输出的Y小图经过CVE，CVE计算MFNR H matrix，该矩阵用于MFNR计算。MFNR后的Bayer RAW图像经过BE、PE、CVE Bokeh就一样了。
3. HDR（DOL、DCG等）
第一个讲2DOL Stagger HDR。
即以“行”为输出单位“长短帧”曝光，以“帧”为单位因为间隔时间太长会有伪影产生，早已过时。
FE接受来自sensor的2DOL图像（Ev0和Ev-），CVE分时读取Ev0长曝光图像和Ev-短曝光图像，求取特征点（FTPT），根据特征点进行match，输出H矩阵，传给BE的HDR warp。
BE读取长短帧图像，利用H矩阵对Ev-图像配准，然后进行HDR融合。可硬件融合或AI融合。
第二个讲DCG HDR。
对于DCG HDR，Sensor只曝光一次，通过不同的AD转换增益获取Ev0和Ev-，其他步骤没有特别的区别。这种方式Sensor有可能直接对两者图像融合。
不断更新...