本文为camera isp pipline概述
ISP,即image signal processing。为图像成型做的处理工作。适应不同光学环境下图像的还原。
pipline流程如下:
光通过LENS(镜头)投射到SENSOR,经过光电转换为模拟电信号,在A/D转换为数字信号,送到DSP处理模块做后续处理。
Bayer format 图像,经过黑电平补偿 ( black level compensation)、镜头矫正 ( lens shading correction)、坏像素矫正 ( bad pixel correction)、颜色插值 ( demosaic)、Bayer 噪声去除、 白平衡( awb) 矫正、 色彩矫正( color correction) 、 gamma 矫正、 色彩空间转换( RGB 转换为 YUV) 、 在 YUV 色彩空间上彩噪去除与边缘加强、 色彩与对比度加强,中间还要进行自动曝光控制等, 然后输出 YUV( 或者 RGB) 格式的数据。
备注:
1. 先来预热,了解camera基本结构。
2. 量子效率
量子效率(QE)是衡量光子转换为电荷或者电子的效率。Sensitivity = QE * Pixel_size. (pixel_size越大感光面积越大,单位面积接受光子越多)。
每个pixel感光电路是一个二极管,二极管反向截止的效应,类似一个电容,当接收的光多的时候电荷就多,电压就大,所以曝光量一高,pixel就越亮。
3. CFA引入colorfilter的先行基础以及Crosstalk(参考https://www.docin.com/p-427588397.html各波长互相干扰)
下图中上面是实际的,下面是理想的情况。上面图中同时用IR滤波器对红外频率的光进行了频率截断。避免红外光的干扰。
4. 光电转换后电压太小需要一个模拟增益(AG)或者叫直流调制。将电压整体抬升一个常数。再进行模数转换。
reset先对二极管进行充电保持状态,等待曝光。
exposure 后充电状态的二极管电荷发生变化。
曝光后有正负电荷形成的电势差,放电。
最后进行模数转换。
5. Sensor动态范围
1.full well就是reset的时候上电电荷能力。
2.暗电流是完全没有光的时候电荷井里也会有电荷。
3.fill factor是中间部分的稳定电荷。
sensor光电转换动态范围计算如下:DynamicRange = FillFactory / dark current 。简化就是Saturation/black level