1 空间滤波
1.1 基本概念
空间域,在图像处理中,指的是像平面本身; 空间滤波,则是在像平面内,对像素值所进行的滤波处理。
如上图所示,假设点 (x, y) 为图像 f 中的任意点,中间正方形是该点的 3x3 邻域 (也称为 “滤波器”)
当该邻域,从图像的左上角开始,以水平扫描的方式,逐个像素移动,最后到右下角时,便会产生一幅新的图像。
1.2 滤波机制
若输入图像为 f(x, y),则经空间滤波后,输出图像 g(x, y) 为
$\quad g(x, y) = \sum \limits_{s=-a}^a \: \sum \limits_{t=-b}^b {w(s, t)\:f(x+s, y+t)} $,其中 w(s, t) 为滤波器模板
更形象的解释,如下图:卷积核(也即滤波器模板) 像手电筒一样,对图像 f(x, y) 中的像素,从左至右从上到下,逐个扫描计算后,便得到了输出图像 g(x, y)
1.3 相关和卷积
空间滤波中,相关和卷积,是两个容易混淆的概念,以下面的输入图像 f(x,y) 和 滤波器模板 w(x, y) 为例:
相关 (Correlation),和上述的滤波机制一样,即滤波器模板逐行扫描图像,并计算每个位置像素乘积和的过程。
卷积 (Convolution),和 "相关" 过程类似,但是要首先旋转 180°,然后再执行和 “相关” 一样的操作。
二维中的旋转 180°,等于沿一个坐标轴翻转该模板,然后再沿另一个坐标轴再次翻转该模板。
注意:如果滤波器模板是对称的,则相关和卷积得到的结果是一样的。
2 filter2D 和 flip
OpenCV 中,用户可自定义滤波器模板,然后使用 filter2D() 函数,对图像进行空间滤波
void filter2D ( InputArray src, OutputArray dst, int ddepth, InputArray kernel, Point anchor = Point(-1,-1), double delta = 0, int borderType = BORDER_DEFAULT )
其公式如下:
$ dst(x, y) = \sum \limits_{0 < x' <kernel.cols, \\ 0<y'<kernel.rows} \: kernel(x', y') * src(x+x'-anchor.x, y+y'-anchor.y) $
可以看出,锚点 $(anchor.x, anchor.y)$ 并不是 kernel 的镜像中心。
要想得到真正的卷积 (convolution),首先,使用 flip() 函数翻转 kernel,然后,设置新的锚点为 $(kernel.cols - anchor.x - 1, kernel.rows -anchor.y -1)$
void flip ( InputArray src, OutputArray dst, int flipCode // 0, flip around x-axis; 1,flip around y-axis; -1, flip around both axes );
3 代码示例
下面详细阐述,如何设计滤波器模板,配合 filter2D() 函数,实现图像的一阶和二阶偏导运算。
在 x 方向上,一阶和二阶偏导数的计算结果,如下图所示:
3.1 一阶偏导
图像在 x 和 y 方向的一阶偏导如下:
$\frac {\partial f}{\partial x} = f(x+1,y) - f(x,y)$
$\frac {\partial f}{\partial y} = f(x, y+1) - f(x, y)$
则对应的滤波器模板为 $K_{x} = \begin{bmatrix} -1 \\ 1 \end{bmatrix} $,$K_{y} = \begin{bmatrix} -1 & 1 \end{bmatrix} $
3.2 二阶偏导
同样的,在 x 和 y 方向的二阶偏导如下:
$\frac {\partial f^2} {\partial x^2} = f(x+1, y) + f(x-1, y)- 2f(x,y)$
$\frac {\partial f^2}{\partial y^2} = f(x, y+1) + f(x, y-1)- 2f(x,y)$
$\frac {\partial f^2}{\partial x \partial y} = f(x+1, y+1) - f(x+1, y) - f(x, y+1)+ f(x,y)$
则各自的滤波器模板为 $K_{xx} = \begin{bmatrix} 1 \\ -2 \\ 1 \end{bmatrix} $,$K_{yy} = \begin{bmatrix} 1 & -2 & 1 \end{bmatrix} $,$K_{xy} = \begin{bmatrix} 1 & -1 \\ -1 & 1 \end{bmatrix} $
3.3 代码实现
#include "opencv2/imgproc.hpp" #include "opencv2/highgui.hpp" using namespace cv; int main() { // 读取图像 Mat src = imread("test.bmp"); if(src.empty()) { return -1; } cvtColor(src, src, CV_BGR2GRAY); Mat kx = (Mat_<float>(1,2) << -1, 1); // 1行2列的 dx 模板 Mat ky = (Mat_<float>(2,1) << -1, 1); // 2行2列的 dy 模板 Mat kxx = (Mat_<float>(1,3) << 1, -2, 1); // 1行3列的 dxx 模板 Mat kyy = (Mat_<float>(3,1) << 1, -2, 1); // 3行1列的 dyy 模板 Mat kxy = (Mat_<float>(2,2) << 1, -1, -1, 1); // 2行2列的 dxy 模板 // 一阶偏导 Mat dx, dy; filter2D(src, dx, CV_32FC1, kx); filter2D(src, dy, CV_32FC1, ky); // 二阶偏导 Mat dxx, dyy, dxy; filter2D(src, dxx, CV_32FC1, kxx); filter2D(src, dyy, CV_32FC1, kyy); filter2D(src, dxy, CV_32FC1, kxy); // 显示图像 imshow("dx", dx); imshow("dy", dy); imshow("dxx", dxx); imshow("dyy", dyy); imshow("dxy", dxy); waitKey(0); }
参考资料:
OpenCV Tutorials / imgproc module / Making your own linear filters
<数字图像处理> 冈萨雷斯, 第3章 灰度变换与空间滤波