ISP PIPLINE(零) 知识综述预热

时间:2021-03-09 11:43:21

本文为camera isp pipline概述

ISP,即image signal processing。为图像成型做的处理工作。适应不同光学环境下图像的还原。

pipline流程如下:

ISP PIPLINE(零) 知识综述预热

光通过LENS(镜头)投射到SENSOR,经过光电转换为模拟电信号,在A/D转换为数字信号,送到DSP处理模块做后续处理。

Bayer format 图像,经过黑电平补偿 ( black level compensation)、镜头矫正 ( lens shading correction)、坏像素矫正 ( bad pixel correction)、颜色插值 ( demosaic)、Bayer 噪声去除、 白平衡( awb) 矫正、 色彩矫正( color correction) 、 gamma 矫正、 色彩空间转换( RGB 转换为 YUV) 、 在 YUV 色彩空间上彩噪去除与边缘加强、 色彩与对比度加强,中间还要进行自动曝光控制等, 然后输出 YUV( 或者 RGB) 格式的数据。

ISP PIPLINE(零) 知识综述预热

备注:

       1.     先来预热,了解camera基本结构。

            ISP PIPLINE(零) 知识综述预热

2.    量子效率

量子效率(QE)是衡量光子转换为电荷或者电子的效率。Sensitivity = QE * Pixel_size. (pixel_size越大感光面积越大,单位面积接受光子越多)。

每个pixel感光电路是一个二极管,二极管反向截止的效应,类似一个电容,当接收的光多的时候电荷就多,电压就大,所以曝光量一高,pixel就越亮。

ISP PIPLINE(零) 知识综述预热

3.    CFA引入colorfilter的先行基础以及Crosstalk(参考https://www.docin.com/p-427588397.html各波长互相干扰)

下图中上面是实际的,下面是理想的情况。上面图中同时用IR滤波器对红外频率的光进行了频率截断。避免红外光的干扰。

ISP PIPLINE(零) 知识综述预热

4. 光电转换后电压太小需要一个模拟增益(AG)或者叫直流调制。将电压整体抬升一个常数。再进行模数转换。

ISP PIPLINE(零) 知识综述预热

ISP PIPLINE(零) 知识综述预热

reset先对二极管进行充电保持状态,等待曝光。

ISP PIPLINE(零) 知识综述预热

exposure 后充电状态的二极管电荷发生变化。

ISP PIPLINE(零) 知识综述预热

曝光后有正负电荷形成的电势差,放电。

ISP PIPLINE(零) 知识综述预热

最后进行模数转换。

5. Sensor动态范围

ISP PIPLINE(零) 知识综述预热

1.full well就是reset的时候上电电荷能力。

2.暗电流是完全没有光的时候电荷井里也会有电荷。

3.fill factor是中间部分的稳定电荷。

sensor光电转换动态范围计算如下:DynamicRange = FillFactory / dark current 。简化就是Saturation/black level