Bilateral Filter

时间:2021-01-25 15:14:58

最近在看图像风格化的论文的时候,频繁遇到 Bilateral Filter。google 一波后,发现并不是什么不得了的东西,但它的思想却很有借鉴意义。

简介

Bilateral Filter,中文又称「双边滤波器」。相比以往那些仅仅使用位置信息进行滤波的 filter,Bilateral Filter 还考虑了颜色信息,可以保证边缘部分不会被过滤。

简单来说,一般的 filter 都是基于这样的公式进行滤波的:

\[h(x)=k_{d}^{-1}{(x)}\iint_\infty^\infty{f(\zeta)c(\zeta, x)} d\zeta
\]

其中,\(k_{d}^{-1}{(x)}\) 是权重之和,\(f(\zeta)\) 可以理解为单个像素,\(c(\zeta, x)\) 可以理解为位置权重。

翻译成程序员可以理解的语言,大概是这样:

for (int i = -r; i <= r; i++) {
for (int j = -r; j <= +r; j++) {
newpixel += pixel[row+i][col+j] * c[i][j];
k += c[i][j];
}
}
pixel[row][col] = newPixel / k;

高斯函数也属于这类 filter。

但这种 filter 有一个缺点:各向同性(不知道这个理解对不对)。用这种滤波器,每个点受邻居的影响是一样的,即使它跟邻居像素可能差得比较多,也会被邻居「同化」(举个例子:边缘被「和谐」掉了)。因此,有人提出了 Bilateral Filter。

Bilateral Filter 采用这样的公式:

\[h(x)=k_{d}^{-1}{(x)}\iint_\infty^\infty{f(\zeta)c(\zeta, x)s(f(\zeta), f(x))} d\zeta
\]

对比之前的式子,最大的变化无非是权值中增加了一个 \(s(f(\zeta), f(x))\),这个东西也是权值,不过它不是采用位置信息,而是颜色信息 \(f(\zeta)\)。不管是哪种信息,形势上来看都是一样的,但由于增加了颜色权值,却使滤波的结果有了明显不同,后面会给出效果图。

再次翻译成程序语言:

for (int i = -r; i <= r; i++) {
for (int j = -r; j <= +r; j++) {
newpixel += pixel[row+i][col+j] * c[i][j] * s(pixel[row][col], pixel[row+i][col+j]);
k += c[i][j]*s(pixel[row][col], pixel[row+i][col+j]);
}
}
pixel[row][col] = newPixel / k;

s 函数可以借鉴位置权值的思路。例如,可以采用这种方式定义(当然这个是我自己构造的):

function s(p1, p2) {
return (255-abs(p1-p2)) / 255
}

这样,差的越多的颜色,所占权值越小。

如果要追求科学严谨一点,也不妨仿照高斯核函数的定义:

\[c(\zeta-x) = e^{-{1\over2}({ {\zeta-x} \over {\sigma} } )^2} \\\\\\
s(\zeta-x) = e^{-{1\over2}({ {f(\zeta)-f(x)} \over \sigma })^2}
\]

<br>

代码实现

理解原理后,实现其实也很简单,上面给出的伪代码基本是核心算法了。另外需要注意的是,如果是彩色图的话,需要对每个通道的颜色值进行滤波。

具体实现可以参考这篇博客:图像处理之双边滤波效果(Bilateral Filtering for Gray and Color Image),或者参考我自己的 demo,当然,我也只是将上面博客的 java 版改成 c++ 而已0

给出几幅结果图:

原图

Bilateral Filter

高斯模糊

Bilateral Filter

仅仅用颜色信息滤波

Bilateral Filter

双边滤波:

Bilateral Filter

仔细对比一下,双边滤波对边缘的保留效果比高斯滤波好太多了,这一点从第三幅图就可以知晓缘由了。

另外!!如果使用高斯核函数来实现双边滤波,颜色卷积和的 \(\sigma\) 要取大一点的值,比如:50。否则,由于不同颜色的差值往往比位置差值大出许多(举个例子:50 和 60 两种像素值肉眼上看很接近,但却差出 10,平方一下就是 100),可能导致很相近的像素点权值很小,最后跟没滤波的效果一样。

<br>

启发

Bilateral Filter 的思想是:在位置信息的基础上加上颜色信息,相当于考虑两个权值。如果还要考虑其他重要因素,是不是可以再加进一个权值,构成一个三边滤波器呢?答案当然是可以的,由此,我们可以把很多简单的滤波器综合起来形成一个更强大的滤波器。

<br>

参考