25 自动对焦
- CDAF
- PDAF(Phase Difference Autofocus)
- laser assisted AF:激光辅助
laser AF
TOF(time of flight) sensor
VCM/step motor driver
- ringing effect:振动效应。调焦时在最优点两边振荡。
- border control:边缘控制。电机到尽头,碰到头后反弹。到边缘要慢。
- step size control
行程
stepper motor步进电机
CDAF filters and statistics
IIR filter
single AF algorithm
single pass hill climbing
INF
macro
orientation compensation
重力补偿,朝向不同,电机需要的电流不同。
multi-spot
ROI
continue AF
- scene change detection + single autofocus
- scene change detection + direction judgement + peak finding
scene change detection:
- Luma change and FV change
- additional sensor such as Gyro
26 闪光灯
类型:
- LED
- dual LED
- Xenon氙灯
牛顿和光学、色彩科学
棱镜
单色光合成其他颜色的光
LED闪光灯原理
- 三色LED合成白光
- 蓝色LED照到黄色荧光剂生成白光
- UV LED + RGB phosphor
各类型闪光灯的优缺点(表格)
- 氙灯:亮度最高。持续时间最短。单位面积价格最低?
闪光灯的同步方式
guide number = f-number x distance
iso100
- 高速同步
- 慢速同步
- 前帘同步:快门和闪光灯同时打开。可能有运动模糊。
- 后帘同步:抑制运动模糊
实际应用慢速+后帘
闪光灯的基本控制时序
打开关闭
预闪 防红眼(预闪使人瞳孔收缩,拍不到眼底的红) 主闪
光对皮肤有伤害?
为什么主流手机相机不用氙灯?
- 耗电量大
- 体积大,厚度厚
- 需要配合机械快门+LED
- EMC
- 成本高
闪光灯照相的常见问题
- 反光的物体
- flash AE造成的过/欠曝
- flash AF造成的失焦
- flash AWB造成的色偏:例如偏蓝
- 能量不够造成的远景不亮
- 曝光时间太长造成运动模糊
闪光灯的光学指标
- RI(relative illuminance):中心亮度高
- chromaticity一致性
27 HDR
Zhang Eric
改善动态对比度的技术。提升最亮和最暗画面的对比度。看到更多细节。
直观图像感官
- 空间分辨率
- 时间分辨率:帧率、曝光时间
- 灰度分辨率
- 动态范围
- 色度范围
人眼对对比度的敏感
暗光需要更大对比度?
真正的HDR技术
获得HDR影像——以HDR方式处理——HDR方式存储——HDR方式显示
动态范围的数学问题
……
提升sensor的感光能力
多曝光合成
短曝光获取高光处的图像,长曝光获取阴暗处的图像。
后处理
单帧空间域多曝光
交错曝光
其他
- logarithmic sensor:一种数学方法
- local adaption局部适应:仿人眼设计
多重曝光的HDR流程
提取灰度图像——图像配准——灰度融合——图像色彩恢复
图像配准去除人手抖动,重影
最简单的图片融合过程
常见问题
- 鬼影:运动物体
- 曝光时间的选择
- 颜色效果不自然
多分辨率融合
Google 的HDR plus技术
双camera对HDR的提升
展望
28 图像文件格式
- TIFF:医学、遥感。
- DNG
- EXIF:为数码相机发明的。
- JPEG/EXIF
- JPEG
- JIFF
- GIF
- PNG
遵循、被遵循、拓展、由专利发展出
图像文件解析器
29 Encoder编码器
编码的发展历史
MPEG H.262
压缩编码的基本概念
- 有损和无损压缩
- 帧内和帧间压缩
- 对称和不对称编码
GOP
Encode/Decode Sequence:I P B B P B B
Display Sequence:I B B P B B P
不一定有B帧。
DCT in Image Coding
DCT离散余弦变换
JPEG压缩
Zigzag扫面
DPCM (Differential PCM)
Run-Length Coding
Huffman Coding
Motion prediction
运动估计
H.261运动估计
H.263运动补偿
H.264运动比较
Encoder2
H.264 Variable Block Sizes
Motion Scale Example
H.264 VBS Example
H.264画质
- BP
- EP
- MP
- HP
Hybrid MC-DCT Encoder
30 图像防抖
问题
- 运动模糊
- 果冻效应?
- 抖动
防抖分类
- 光学防抖:镜头移动,sensor移动,两者一起移动
- 电子防抖
- 视频后处理过滤器
- 外置的防抖支架
- 防抖CCD:比较少商用?
人眼防抖
云台、支架
单反中的OIS
手机中的OIS模组
卷帘门效应
Motion Blur模型
盲目解卷积
PSF的估计
多帧短曝光
视频防抖
防抖的基本流程:
原视视频——运动评估——运动补偿计算——视频补偿——去抖视频
- GMV(global motion vector):
- CMV(compensating motion vector):补偿运动矢量
运动矢量分析方法
比较信号相似度的方法
- 绝对平均误差函数
- 互相关函数
- 均方误差函数
- 最大误差最小函数
- 绝对差之和SAD
- 灰度投影法
- 块匹配法
- 特征点匹配法
- 位平面法
- 光流法
- SIFT:尺度不变特征转换,机器人……
局部运动矢量和全局运动矢量
运动和抖动分离
- 滑动平滑滤波器
- 曲线拟合法
- 卡尔曼滤波法
- 高斯核滤波法
- 长特征路径的直接优化法
影响EIS系统的几个原因
- 缺乏特征(Lack of feature,LOF)
- 重复模式
- 低信噪比
- 存在运动物体
- 透视角造成同一物体远近运动量不同
- 光照突然变化,如闪光灯
- 运动模糊
- 大面积阴影
EIS use gyro
- 机械陀螺仪
- 激光陀螺仪
- MEMs陀螺仪
gyro和图像匹配的问题
- 时域
- 大小幅度
防抖效果的评估
31 图像质量评价
什么是图像质量?
两个基本方面:
- 观者感受
- 用以满足客户需求的技术方法和技术
IQ参数:锐度,噪声程度,色彩准确度,等等
Minkowski和Q说明的两层问题
- 直接和与欧式和
- 单调性假设的问题
短板效应
IQ参数的三种类型
- 系统性参数※
- 倾向性参数
- 审美性参数
为什么评价图像质量?
目前成像工业的方法
JND
IQ circle
控制成像系统图像质量的过程
- 客户的观察:客户看到的各种“ness”,
- 客户的倾向:客户打分
- 技术变量:我们调什么
- 物理图像参数:我们测什么
- 视觉算法:从图像中提炼出物理图像参数
- 系统模型:关联物理图像参数与技术变量
- IQ模型:经验或者统计的方法给IQ打分
各种图像质量组织研究视觉算法
客观评价
主观评价
Tone Reproduction
ISO 14524:Methods for Measuring OECF
色彩重建的准确性
ISO 17321-1
24色卡
图像的细节重建
MTF,modulation transfer function
SFR,Spatial Frequency Response
ESF,Edge Profile
LSF,Edge Profile做微分
SFR是LSF的傅里叶变换
SFR跟MTF等价,表示系统从低频到高频的解析能力
ISO 12233
其他方法
西门子星图
图像噪声
定义:图像中,不想要的像素间的变化
噪声评价方法
rms noise level
均方根
噪声模型
噪声的空间特性
三种类型空间噪声的ACF
NPS噪声模型……
NPS计算MTF——枯叶图,评价去噪和锐化算法
IQ要从理论根源学起,不能速成。
32 画质调优
IQ tuning:把成像系统的性能最优化
- 系统来自光学、半导体、机械结构的缺陷与局限
- 光学、半导体、机械结构生产的不一致性
- ISP处理的能力
- 3A处理的能力
- 后处理软硬件的能力
- 要达到的客观标准
- 要达到的主观标准
理论准备:
- 光学
- sensor
- 颜色科学
- 信号处理
- camera硬件知识
- camera软件知识
- image quality理论基础
工具准备:
- 显示器:Eizo
- IQ分析软件:IE Analyzer, imatest, DXO
- 图像比较工具:fasttone, beyond compare
- 图像处理工具:Photoshop, Gimp, Corel Paintshop
- 图像计算工具:matlab
- 图像仿真工具
客观调试 主观调试
可重复性:
- 光源
- 电源
- 地面
- 图卡
- ……
有代表性:
- HDR
- 虚化
- 抖动
- 运动
- ……
光源:
色温1800K-12000K 照度0.1——2000lux
客观lab准备:
- resolution measurement
- sharpness
- texture loss
- color reproduction
- shading
- noise
- exposure
- distortion
- color aberration
- focus
- lag
- stablization
- flash
- human model
- motion
- ……
主观lab准备:
- 黑场
- 黑处细节
- 白场
- 亮处细节
- 反光物
- 色卡
- 18%灰墙
- 饱和色
- 彩色物体
- 高、中、低频纹理
- 文字
- human model
- ……
主客观融合 光源
文档准备:
- camera spec
- lens spec
- sensor spec
- actuator spec:VCM……
- IR spec
- 模组报告,TS,TE……
- ISP spec:前处理模块、后处理模块
- 软件spec:3A
- 客观标准
- 主观标准:参考机
- 项目schedule
characterization(特征化):
- black level
- shading
- noise profile
- white balance
- CCM
- Chroma Aberration
- Distortion
- static defect pixel
- FPN
- linearization
- Gamma
- ……
golden sample
一些固定参数。
1~3days
lab tuning:
- exposure
- focus
- defect pixel correction
- WB
- color
- demosaic
- sharpening
- RAW noise reduction
- Luma noise reduction
- color noise reduction
- gamma & contrast
- face
- AF
2~4weeks
field tuning:
根据国际电联的标准ITU P910, ITU-R BT500-11,24个经典场景
1-3months
- 暖光源(含人)
- 白天雪景
- 大片绿色(多云天)
- 强日光
- 办公室暖白
- 办公室暖白混合阴天白光
- 阴天
- 酒吧暖光源
- 蓝晴天
- 暖白混晴天日光
- 超市暖白
- 有云晴天
- 大阴天
- 蓝天晴天带水面反射
- 日出/落
- 蓝天绿地 有云晴天
- 阴天有云
- 大晴天 木头和人
- 部分蓝天晴天(绿 黄 灰物体)
- 大晴天人像
- 大晴天(绿地+人)
- 晴天的阴影
- 晴天的阴暗处(含白色物体)
- 火堆旁人像
fine tuning & corner case
end user test
33 双摄像头
15、16年出现双摄
主要功能:
- 景深计算
- 图像增强
- 模拟光学zoom
双摄的组装方式比较
如何判断调整的角度
匹配算法步骤:
- 匹配代价计算
- 代价聚合
- 视差计算/优化
- 视差调整
34 成像系统仿真
不同类型的开发需要不同的仿真
matlab模型, C/C++,RTL,系统级仿真
DNG raw Photoshop
camera产品的典型开发过程
timeline
- 模组开发:TS——ES1——ES2——MP1——MP
- ISP开发:alpha——beta——CR——FR
- camera开发
在产品做出来之前,就开始仿真。
MATLAB算法
很多华人都在做图像处理,上手容易,不需要很多设备,只要有可输出RAW/DNG的手机,电脑就够了。
习题:做一个自动白平衡的算法,grey world算法
35 结构光相机概述
1.结构光应用现状、前景和难点
非手机行业产品:
- Kinect V1
- realsense
- 图漾科技
- 小觅
- 奥比中光
- 华捷艾米
2.现行结构光方案对比
- 方式:Active stereo……
- 方案厂家
- 模组厂家
- 整机厂家
3.结构光涉及的核心技术
4.结构光算法和标定
5.结构光和TOF、双目视角等对比
36 TOF camera 概述
1.TOF应用现状、前景和难点
门禁、扫地机器人、无人机、
手机辅助对焦、前置接近传感器
2.现行TOF方案对比
- 方案厂家
- 模组厂家
- 量产厂家
3.TOF camera的难点
- 温漂补偿,容易收到温度的影响
- 对时钟要求很高
- 标定:offset、crosstalk、distortion、shading
- 组装工艺
- 调制波校正
4.影响TOF测距精度的因素
- 静态误差
- 边缘叠加误差
- 动态误差:多次反射误差、材质误差、颜色误差、运动模糊误差
5.TOF和结构光优劣比较