HDR视频技术之一：光学与人类视觉感知特性基础

HDR， 即高动态范围是一个光学以及视觉领域的概念， 如果想要清楚地理解什么是HDR， HDR 与 LDR 的差别在哪里， 以及 HDR 技术的理论基础，首先需要对光学以及人类视觉感知系统（ Human Visual System， HVS）有基本的了解。

1、可见光

图像，本质上是对可见光的记录与还原。从电磁波的角度来看， 可见光可以看作电磁波谱中人眼可以感知的部分。 自然界中，人类熟知的电磁波的波长可以从10-10????（ γ射线）一直到103????（无线电）， 一般人的眼睛可以感知的电磁波的波长在 400～760nm 之间，但还有一些人能够感知到波长大约在 380～780nm 之间的电磁波。 由此可见，可见光的波长范围相比电磁波的波长，是非常小的范围。

从另一个角度来看，光可以被认为是由光子组成的，光子可以被发射，被反射，被吸收以及可以在空间中传输。光子在空间中延直线传播。当遇到物体时，光子可能产生了两种结果：第一种是被物体表面吸收，并产生热能；第二种是被物体表面反射。反射方向依据物体表面情况又可以分为两种：当物体表面粗糙时，光会漫反射，即出射角度可能是任何方向；当物体表面光滑时，光会发生镜面反射，即出射角度基本只有一个方向。光的这些性质，是我们记录图像，显示图像的基础。
从现实中的经验我们可以了解到，镜面反射的光线会对图像的质量产生不良的影响，因为镜面反射的光线强度过大，因此在图像中会显示为白茫茫的一篇，从而失去了这一部分图像的精确细节。如何获取，记录这种过曝光区域的图像细节，也是 HDR 技术领域的一个重点问题。

由于人眼的特性， 不同波长的可见光，对人眼的刺激是不同的。 更进一步， 对于同一个波长的可见光， 不同的人的敏感程度也是不同的。但是，因为可见光的波长范围较小，所以即使不同的人的敏感程度不同，也可以用一个统一的曲线来大致描述。这种描述曲线由 Commission Internationale de l’Eclairage (CIE)标准化， 并命名为V（ λ） ， CIE photopic luminous efficiency curve。 曲线图像如图所示：

2、动态范围

在亮度方面， 还有一个重要的特征是相对亮度。因为相对亮度与 HDR 技术中的重要概念：动态范围息息相关。因此，这里我们将详细介绍动态范围，以及动态范围与相对亮度的关系。

动态范围是指某度量的最大和最小值之间的比值。在 HDR 技术中，动态范围就是指图像的最大亮度与最小亮度的比值。描述相对亮度的物理量我们称之为对比度。对比度描述了场景或显示设备的最大亮度与最小亮度之间的关系。因此我们可以认为，在显示设备上， HDR 图像技术需要实现的高动态范围，实际上就是实现高对比度。

对比度也有几种不同的计算方式，其中最重要的三种对比度分别为：韦伯对比度（????????），麦克森对比度（ ????????）以及比率对比度（ ????????），定义为：
$$C_W=\frac{L_{max}-L_{min}}{L_{min}},C_M=\frac{L_{max}-L_{min}}{L_{max}+L_{min}},C_R=\frac{L_{max}}{L_{min}}$$
其中????????????????与????????????????分别为场景中的最大与最小亮度值。

3、人类视觉感知系统

人类视觉感知系统在图像与视频领域是一个非常重要的环节， 因为很多后续的研究与定理都是建立在人类视觉感知系统的基础之上的。

人类视觉感知系统是一个十分抽象的概念， 而且其中包含的内容现在仍在改变与拓展，但是，这并不妨碍我们对人类视觉感知系统做出相应的介绍。 简而言之，人类视觉感知系统就是人为地对人眼的生理视觉特性进行模拟，从而实现对图像与视频处理方式的优化与流程的简化。但是，人类的生理视觉系统十分复杂，并且到现在也没有完全研究清楚，因此在图像领域我们无法完全模拟人眼的特性。

由于生理视觉的复杂性， 现在的人类视觉感知系统， 实际上只是对人眼的部分特性的简单归纳与运用。随着人类对视觉的研究不断加深，人类视觉感知系统也将会随之不断发展。一个典型的人类视觉感知系统特性的应用实例就是图像压缩。研究发现，人类的视觉对于图像的高频部分不敏感，因此，在图像压缩的过程中，弱化或忽略高频部分可以使图像压缩的性能大幅提高，并且基本不会影响人类的视觉感知。

由于人类视觉系统的极大复杂度，许多视觉物理学现仍处于假设研究阶段。一些研究已经发现了低层的视觉物理学特性，包括：亮度非线性、对比度敏感、掩盖效应、多通道并行及视觉注意力等等。

亮度非线性指相对于观测物体的绝对亮度，人眼对亮度的变化的感知更为敏感。特别地，在一定范围内，人眼对亮度的感觉与亮度 L 的对数线性相关。

对比度敏感表明了人眼视觉系统的频率响应特性，代表了人眼对于强度值差别的区分能力。 研究中通过调整正弦光栅的幅度和频率进行了一系列实验，给出了著名的Campbell-Robson 对比度敏感函数(Contrast Sensitive Function ,CSF)， 并提出 CSF可以视为一个带通滤波过程。

掩盖效应主要指由于某个掩盖因子的出现，图像要素可见性的损失情况。可以形容为当存在激励 A 的情况下，激励 B 的感知将会得到加强或减弱。一些研究指出视觉处理是多通道并行的。即不同的视觉信息通过不同的神经通道预处理后作为视觉中枢的输入。之后被不同类型的皮层细胞处理。例如在初级视觉中枢中，大部分神经元对于具有特定频率的激励表现敏感。

视觉注意力是指我们只对周围环境中特定的场景或行为注意，使得场景中的某些特定点或区域被选为场景特征。注意力分配的过程会加强场景特征的影响并影响观测者的主观感受。

在这些特性之中，我们需要着重介绍的是对比度敏感性，以及与之相关的对比度敏感函数，因为对比度敏感函数在后续的 HDR 技术中，起到了重要的作用。

在日常生活中，人眼需要分辨边界清晰的物体，也需要分辨边界模糊的物体。后一种分辨能力则称为对比敏感度。通过研究，人们发现对比敏感度是与一些参数相关的，通过对这些参数进行建模，我们就可以得到对比度敏感函数（ CSF）。

对比敏感度(CS)定义为视觉系统能觉察的对比度阈值的倒数。对比敏感度=1/对比度阈值。对比度阈值低,则对比敏感度高，则视觉功能好。在某一空间频率,视觉系统有一定的对比敏感度；反之，在同一对比度时,视觉系统有一定的空间频率分辨力（形觉）。