几种常用信号平滑去噪的方法(附Matlab代码)

时间:2024-11-13 07:52:01

几种常用信号平滑去噪的方法(附Matlab代码)

  • 1 滑动平均法
    • 1.0 移动平均法的方法原理
    • 1.1 matlab内自带函数实现移动平均法
    • 1.2 利用卷积函数conv()实现移动平均法
    • 1.3 利用filter滤波函数实现移动平均法
    • 1.4 移动平均的幅频响应
    • 1.5 时域和频域的转换关系
  • 2 Savitzky-Golay法
    • 2.1 Savitzky-Golay法的方法原理
    • 2.2 Savitzky-Golay法的matlab实现
    • 2.3 Savitzky-Golay法的幅频响应
  • 3 处理离群值(粗大误差)的方法
    • 3.1 中位值法
    • 3.2 标准差法和MAD法
    • 3.3 Matlab中其它离群值消除方法
  • 4 其它一些FIR滤波器实现光滑去噪
    • 4.1 FIR和IIR的区别
    • 4.2 利用Matlab构建FIR滤波器
  • 5 IIR滤波器实现光滑去噪
  • 6 小波去噪方法

2020年8月更新:增加一个时域和频域的转换关系图,增加相应小节1.5
2021年8月更新:增加第6章小波去噪的内容

信号在实际测量中,难免会混入各种噪声。通常我们希望去除高频的随机噪声,或者是偏离正常测量太大的离群误差,以获得低频的测量数据。下面介绍几种常用的信号平滑去噪的方法。

还是惯例声明:本人没有相关的工程应用经验,只是纯粹对相关算法感兴趣才写此博客。所以如果有错误,欢迎在评论区指正,不胜感激。本文主要关注于算法的实现,对于实际应用等问题本人没有任何经验,所以也不再涉及。

1 滑动平均法

本章参考目录
1《数字信号处理》-胡广书
2《Digital Signal Processing - A Practical Guide For Engineers and Scientists》 - Steven

1.0 移动平均法的方法原理

作为开篇第一个方法,会夹带一些数字信号处理的基本方法,可能会导致篇幅比较啰嗦,之后几章我会尽量挑重点的讲解。

滑动平均法(moving average)也叫做移动平均法、平均法、移动平均值滤波法等等,是一种时间域思想上的信号光滑方法。算法思路为,将该点附近的采样点做算数平均,作为这个点光滑后的值。
在这里插入图片描述
一般窗口为对称窗口,防止出现相位偏差。窗口一般为奇数。
以3点平均(窗口长度为3)公式为例,原数据为x,平滑后的数据为y:
y ( n ) = 1 / 3 ∗ ( x ( n − 1 ) + x ( n ) + x ( n + 1 ) ) y(n)=1/3*( x(n-1)+x(n)+x(n+1) ) y(n)=1/3(x(n1)+x(n)+x(n+1))
对y(n)和y(n+1)相减,可以得到另一种计算形式:
y ( n + 1 ) = y ( n ) − 1 3 x ( n − 1 ) + 1 3 x ( n + 2 ) y(n+1)=y(n)-\frac{1}{3}x(n-1)+\frac{1}{3}x(n+2) y(n+1)=y(n)31x(n1)+31x(n+2)
当然这两者都是等价的。

1.1 matlab内自带函数实现移动平均法

matlab有两个函数实现滑动平均法,一个是smoothdata()函数,一个是movmean()函数。
以窗口长度为5为例,smoothdata()函数调用方法为:

y = smoothdata( x , 'movmean' , 5 );

但是这个smoothdata函数实际上是调用了movmean()函数。所以如果直接使用的话,直接用movmean()会更快。
movmean()函数的调用方法为:

y = movmean( x , 5 );

下面以一个加噪声的正弦信号为例:

%移动平均滤波
clear
clc
close all

N_window = 5;%窗口长度(最好为奇数)
t = 0:0.1:10;
A = cos(2*pi*0.5*t)+0.3*rand(size(t));
B1 = movmean(A,N_window);
figure(1)
plot(t,A,t,B1)

在这里插入图片描述

1.2 利用卷积函数conv()实现移动平均法

根据之前的公式,我们可以看到
y ( n ) = 1 / 3 ∗ ( x ( n − 1 ) + x ( n ) + x ( n + 1 ) ) y(n)=1/3*( x(n-1)+x(n)+x(n+1) ) y(n)=1/3(x(n1)+x(n)+x(n+1))
就相当于一个对x和向量[1/3 1/3 1/3]做卷积。
可以验证:

N_window = 5;%窗口长度(最好为奇数)
t = 0:0.25:10;%时间
A = cos(2*pi*0.5*t)+0.3*rand(size(t));
B1 = movmean(A,N_window);

F_average = 1/N_window*ones(1,N_window);%构建卷积核
B2 = conv(A,F_average,'same');%利用卷积的方法计算
figure(2)
plot(t,B1,t,B2)

在这里插入图片描述
中间部分两者完全一致,但是两端有所差别。主要是因为,movmean()函数在处理边缘时,采用减小窗口的方式,而conv()相当于在两端补零。所以如何处理边缘也是值得注意的。

1.3 利用filter滤波函数实现移动平均法

首先介绍一下Z变换。以向前的滑动平均为例(这里中间值不是n而是n+1,所以相位会移动)。
y ( n ) = 1 / 3 ∗ ( x ( n ) + x ( n + 1 ) + x ( n + 2 ) ) y(n)=1/3*( x(n)+x(n+1)+x(n+2) ) y(n)=1/3(x(n)+x(n+1)+x(n+2))
它的Z变换可以简单的理解为,把x(n+k)替换为z^(-k),即
H ( z ) = 1 3 ( z 0 + z − 1 + z − 2 ) H(z)=\frac{1}{3}(z^{0}+z^{-1}+z^{-2}) H(z)=31(z0+z1+z2)

因此对于filter滤波函数,输入的格式为:

y = filter(b,a,x)

其中b和a的定义为:
H ( z ) = b 1 + b 2 ⋅ z − 1 + b 3 ⋅ z − 2 + ⋯ + b n ⋅ z − n + 1 1 + a 2 ⋅ z − 1 + a 3 ⋅ z − 2 + ⋯ + a m ⋅ z − m + 1 H(z)=\frac{b_1+b_2\cdot z^{-1}+b_3\cdot z^{-2}+\cdots +b_{n}\cdot z^{-n+1}}{1+a_2\cdot z^{-1}+a_3\cdot z^{-2}+\cdots +a_{m}\cdot z^{-m+1}} H(z)=1+a2z1+a3z2++amzm+1b1+b2z1+b3z2++bnzn+1
其中a1必须为1。所以对应的移动平均滤波可以表示为:

y = filter( [1/5,1/5,1/5,1/5,1/5] , [1] , x );

它和下面代码的是等价的(在边缘上的处理方式有所不同)

y = movmean( x , [4,0] );

代表有偏移的滑动平均滤波,4是向后4个点的意思,0是向前0个点的意思。

因为 filter滤波器使用有偏移的向后滤波。滤波后,相位会发生改变。所以通常采用零相位滤波器进行滤波,matlab内的函数为filtfilt()。原理从函数名字上就可以体现出来,就是先正常滤波,之后再将信号从后向前再次滤波。正滤一遍反滤一遍,使得相位偏移等于0。这个之后再IIR滤波器会讲一下。

1.4 移动平均的幅频响应

幅频响应可以通过之前1.3得到的H(z)函数来得到,在单位圆上采样,也就是把z替换为e^iw。
以中心窗口为例,
y ( n ) = 1 3 ( x ( n − 1 ) + x ( n ) + x ( n + 1 ) ) y(n)=\frac{1}{3} ( x(n-1)+x(n)+x(n+1) ) y(n)=31(x(n1)+x(n)+x(n+1))
H ( i w ) = 1 3 ( exp ⁡ ( i w ) 1 + exp ⁡ ( i w ) 0 + exp ⁡ ( i w ) − 1 ) H(iw)=\frac{1}{3}(\exp(iw)^{1}+\exp(iw)^{0}+\exp(iw)^{-1}) H(iw)=31(exp(iw)1+exp(iw)0+exp(iw)1)
H(iw)的绝对值就是该滤波方法的幅频响应。以3点滤波为例,matlab代码为:

%计算频率响应
N_window = 3;
w = linspace(0,pi,400);
H_iw = zeros(N_window,length(w));
n=0;
for k = -(N_window-1)/2:1:(N_window-1)/2
    n = n+1;
    H_iw(n,:) =1/3* exp(w.*1i).^(-k);%公式(e^iw)^(-k)
end
H_iw_Sum = abs(sum(H_iw,1));%相加

figure()
plot(w/2/pi,H_iw_Sum)

由于H变换在单位圆上的特性相当于傅里叶变换,所以上面代码等效于下面计算方法:

%计算频率响应
N_window = 3;
Y=zeros(400,1);
Y(1:N_window) = 1/3;%设置滤波器
Y_F = fft(Y);
figure()
plot(linspace(0,0.5,200),abs(Y_F(1:200)));

matlab也有自带的函数来看频率特性,freqz(),推荐使用这种。

其中,归一化频率等于信号频率除以采样频率f/Fs,采样频率等于时间采样间隔的倒数1/dt。对比不同窗口长度的幅频响应,可以看到:
1平均所采用的点数越多,高频信号的滤波效果越好。
2 3点平均对于1/3频率的信号滤波效果最好,5点平均对1/5和2/5频率的信号滤波效果最好。所以根据这个特性,一方面我们要好好利用,一方面也要避免其影响。
在这里插入图片描述
举个应用的例子,比如你的采样频率为10hz,采样3点滑动平均滤波,但是你的信号在3.3hz左右,你就会发现你的信号被过滤掉了,只留下了噪声。

反之,以美国近期的疫情为例,疫情的采样频率为1天一采样,而且显示出很强的7日一周期的特性(病毒也要过周末)。所以,为了消除这个归一化频率为1/7的噪声影响,采样7点的滑动平均滤波。可以看到所有以7天为一变化的信号分量全部被消除掉了。
(下面这个图经常被引用,但是很少有人思考为什么用7天平均方法来平滑数据。)
在这里插入图片描述
回到原本的幅频特性问题上。当点数较少的时候,比如3个点,高频滤波效果并不是很好。所以当取的点数比较少的时候,需要平滑完一遍之后再平滑一遍,直到满意为止。这个原理也可以通过幅频特性来解释,多次平滑相当于乘了多个H(z)。对于平滑2次,它的图像也就是abs(sum(H_iw,1).*sum(H_iw,1));对于平滑4次,它的图像相当于乘以四个sum(H_iw,1)。(注:因为时域上的卷积等于频域上的乘积,多次卷积对应着多次乘积。)
在这里插入图片描述
可以看到,多次平滑之后,高频的衰减非常明显。这也就是说,即使只有3个点平均,多次平滑之后也可以等效为一个较好的低通滤波器。

所以总结一下,移动平均滤波拥有保低频滤高频的特点,而且对于特点频率的滤波具有良好的效果。但是缺点是所有频率分量的信号都会有不同程度衰减。

1.5 时域和频域的转换关系

额外补充一部分小内容,可能前面有些概念加入的太突然。很多人可能觉得之前时域上的平均法非常好理解,为什么突然加入幅频特性图,又是Z变换又是fft的。

其实时域上的滤波和频域上的滤波是可以互相转换,且一一对应的。也就是时域上的卷积等于频域上的乘积。
下图为3点移动平均滤波法,时域和频域的转换关系:
在这里插入图片描述
同样的滤波操作,可以用时域公式: y ( n ) = 1 3 ( x ( n − 1 ) + x ( n ) + x ( n + 1 ) ) y(n)=\frac{1}{3} ( x(n-1)+x(n)+x(n+1) ) y(n)=31(x(n1)+x(n)+x(n+1)),进行描述。也可以用频域上,滤波器的幅频特性进行描述。

虽然前面的 movmean()或者conv()等函数都是用时域实现的信号滤波,但是同样也可以完全在频域上实现。采用ifft(fft(x).*fft(F))实现的滤波效果,和完全时域上的滤波效果是等价的。

下面是展示了窗口长度为3的平滑滤波,从时域上和频域上对信号进行滤波的对比:

%实验,检验频域和时域的一致性
%以3点滤波为例
clear
clc
close all

N_window = 3;%窗口长度(最好为奇数)
t = 0:0.1:10;
A = cos(2*pi*0.3*t)+0.1*cos(2*pi*5*t)+0.2*randn(size(t));

F_average = 1/N_window*ones(1,N_window);%创建滤波器
B2 = conv(A,F_average,'same');%利用卷积的方法计算

figure(1)
plot(t,A,'k','linewidth',0.8)

%计算原信号的fft
A_fft=fft(A);
%构建频域上的滤波器
F_average2=zeros(size(t));%长度与x相同,为了后面.*运算
F_average2(1:(N_window-1)/2+1) = 1/N_window;
F_average2(end-(N_window-1)/2+1:end) = 1/N_window;%前后设置对称,使得相位不变
F_Fft = fft(F_average2);

figure(2)
subplot(1,2,1)
plot(linspace(0,1,length(t)),abs(A_fft),'linewidth',1);
subplot(1,2,2)
plot(linspace(0,1,length(t)),abs(F_Fft),'linewidth',1);

%进行反逆变换
B3=ifft(A_fft.*F_Fft);

figure()
plot( t,B2,t,B3 )%对比时域操作和频域操作的差异

这也意味着你也可以在频域上操作,实现想要的滤波。比如想要低频通过高频衰减,就把fft后的信号,高频部分强行等于0即可。比如想要消除某个频率的信号(陷波),就令fft后那个信号的频率等于0即可。同理,想要把振幅衰减1/2,就在对应频域上乘以0.5。

2 Savitzky-Golay法

本章参考目录:
1《数字信号处理》-胡广书
2 Savitzky-Golay平滑滤波器的最小二乘拟合原理综述 /view/?fr=search

2.1 Savitzky-Golay法的方法原理

Savitzky-Golay法,又叫做平滑滤波器,最著名的就是5点3次滤波器。这是一种基于时间域上的多项式拟合,来消除噪声的方法。

以简单的5点2次构造方法为例,介绍一下基本的求解系数的方法:
首先选取5个点x[-2],x[-1],x[0],x[1],x[2],根据这5个点,构造一条2次抛物线:
f ( i ) = a 0 + a 1 ⋅ i + a 2 ⋅ i 2 f(i)=a_{0}+a_{1} \cdot i+a_{2} \cdot i^2 f(i)=a0+a1i+a2i2
这里i=-2,-1,0,1,2。因此,我们需要寻找最优的a0,a1,a2,使得最小二乘拟合最小。最小二乘拟合的函数为:
E = ∑ ( f ( i ) − x ( − 2 ) ) 2 = ( f ( − 2 ) − x ( − 2 ) ) 2 + ( f ( − 1 ) − x ( − 1 ) ) 2 + + ( f ( 0 ) − x ( 0 ) ) 2 + ( f ( 1 ) − x ( 1 ) ) 2 + ( f ( 2 ) − x ( 2 ) ) 2 E=\sum{(f(i)-x(-2))^2}\\ =(f(-2)-x(-2))^2+(f(-1)-x(-1))^2+\\ +(f(0)-x(0))^2+(f(1)-x(1))^2+(f(2)-x(2))^2 E=(f(i)x(2))2=(f(2)x(2))2+(f(1)x(1))2++(f(0)x(0))2+(f(1)x(1))2+(f(2)x(2))2
之后希望最小二乘E最小,我们使得其导数等于0,也就是
∂ E ∂ a p = 0 \frac{\partial E}{\partial a_p}=0 apE=0
上面式子中,a0、a1和a2三个偏导数,可以得到3个方程。联立,即可求得a0、a1和a2。
对于无相位差的滤波,我们希望窗口是对称的。也就是说,我们希望用5个点,去估计f[0]的值。因此我们需要的只有a0,因为:
f ( 0 ) = a 0 + a 1 ⋅ 0 + a 2 ⋅ 0 = a 0 f(0)=a_{0}+a_{1} \cdot 0+a_{2} \cdot 0=a_{0} f(0)=a0+a10+a20=a0
这里借助Mathematica的符号运算进行编程求解,程序如下:

Clear["Global`*"]
M = 5;(*M个点*)
P = 2;(*P次*)

Mk = (M - 1)/2;
f[i_] = Sum[a[k]*i^k, {k, 0, P}]
En = Sum[(f[k] - x[k])^2, {k, -Mk, Mk}];
DEn = D[En, {Array[a, P + 1, {0, P}]}];
s = Solve[DEn == 0, Array[a, P + 1, {0, P}]];
s[[1]][[1]]

可以得到结果:

a[0] -> 1/35 (-3 x[-2] + 12 x[-1] + 17 x[0] + 12 x[1] - 3 x[2])

对于经典的5点3次平滑结果,只需要把上面代码P改为3即可,恰好结果相同:

a[0] -> 1/35 (-3 x[-2] + 12 x[-1] + 17 x[0] + 12 x[1] - 3 x[2])

Savitzky-Golay法可以看做是移动平均法的推广。因为当次数P等于1时,Savitzky-Golay法退化为求解平均值的形态。当然,它也可以视为一种加权平均。其它加权平均比如高斯加权等等,可以在smoothdata函数里的帮助文档看到,就不细说了。

除此之外,也可以直接用matlab中的sgolay()函数,直接得到系数,还是以5点3次为例:

M=5;%5点
P=3;%3次
b = sgolay( P , M );
a0 = b((M+1)/2,:)

2.2 Savitzky-Golay法的matlab实现

matlab中实现方法和第一章中滑动滤波的方法相似。
利用matlab自带的smoothdata(A,‘sgolay’)函数就可以实现Savitzky-Golay法滤波。但是,该函数只支持N点2次的滤波(2.1阶证明了5点2次和5点3次的a0滤波系数相同,但是其他点数则不相同,这一点一定注意)。

如果想得到不同点数不同次数的公式,参考2.1中的sgolay()函数,可以得到不同的系数。下面代码演示了一个利用matlab自带的5点2阶插值和自己编程实现的5点3次插值,其中自己编程的部分采用了1.2节部分的卷积运算,和2.1节介绍的matlab自带函数sgolay()。

%sgolay滤波
clear
clc
close all

N_window = 5;%窗口长度(最好为奇数)

t = 0:0.1:10;
A = cos(2*pi*0.5*t)+0.4*rand(size(t));

%matlab自带的5点2次插值
B1 = smoothdata(A,'sgolay' ,N_window);
figure(1)
plot(t,A,t,B1)

%5点3次插值
B2 = smooth_SG_hyh(A,5,3,1);
figure(2)
plot(t,B1,t,B2)


function y_new = smooth_SG_hyh(y,M,P,n)
%M点P次插值
%M为窗口长度
%P为拟合阶数
%n为光滑n次

m = length(y);
N_window = M;%窗口长度
b = sgolay( P , N_window );
F_SG = b((N_window+1)/2,:);%5点3次插值
y_new = y;
for k=1:n
    y_new2 = wextend(1,'sym',y_new,(N_window-1)/2);%镜像延拓
    y_new2 = conv(y_new2,F_SG,'same');%利用卷积的方法计算
    y_new = wkeep1(y_new2,m);%中间截断
end

end

在这里插入图片描述

2.3 Savitzky-Golay法的幅频响应

利用之前1.4的内容,可以求出Savitzky-Golay法的幅频响应。

%频率响应对比
[w,A_W_5_3] = A_W_SG_hyh(5,3);
[w,A_W_5_1] = A_W_SG_hyh(5,1);
figure()
plot(w,A_W_5_1,w,A_W_5_3)

%频率响应对比
[w,A_W_7_3] = A_W_SG_hyh(7,3);
[w,A_W_7_1] = A_W_SG_hyh(7,1);
figure()
plot(w,A_W_7_1,w,A_W_7_3)
ylim([0,1])

function [w_2p,H_iw_Sum] = A_W_SG_hyh(M,P)
N_window=M;
b = sgolay( P , N_window );
F_SG = b((N_window+1)/2,:);%5点3次插值

w = linspace(0,pi,400);
H_iw = zeros(N_window,length(w));
n=0;
for k = -(N_window-1)/2:1:(N_window-1)/2
    n = n+1;
    H_iw(n,:) =F_SG(n)* exp(w.*1i).^(-k);%公式(e^iw)^(-k)
end
H_iw_Sum = abs(sum(H_iw,1));%相加
w_2p = w/2/pi;
end

在这里插入图片描述
可以看到,当拟合的次数增加,该方法对低频的滤波效果变差。所以和平均法相比,5点3次方法的频率特性与3点移动平均比较相似。因此,5点3次方法适用于噪声频率比较高,信号频率比较低(说的都是归一化频率,也就是和采样频率之比)的情况。相比较相同频率效果的平均法,Savitzky-Golay法用了更多的点,在时域上保留了更好信息。

3 处理离群值(粗大误差)的方法

离群值是指在测量值中,出现了一些反常的值,这个反常值与附近的其它正常值差别非常大。

常用的方法有利用 3 σ 3 \sigma 3σ、中位值法、以及基于中位值的MAD方法等等。

本章参考目录:
1 离群值处理方法 /zjz199303/article/details/79135530
2 常用去除离群值的算法 /dulingwen/article/details/97006884

3.1 中位值法

中位值法,也叫移动中位数法、中值滤波法等。其思想是将窗口内的中位数作为输出结果,如下图所示:
在这里插入图片描述
优点是,在数据采样点密集,且比较平滑的情况下,中位数法可以很好地剔除离群值。缺点是不适用于噪声较大的情况。而且平滑之后,数据光滑度不足。经过中位值法处理之后,极值点会丢失。

matlab中自带的movmedian()函数可以实现中位值法滤波。

clear
clc
close all

%离群值的删除
t = 0:0.05:10;
A = sin(t);
Ri = randi(length(t),10,1);
A(Ri) = A(Ri)*2;

%移动中位数,窗口设置为7
B1 = movmedian(A,7);
figure(1)
plot(t,A,t,B1)

下图可以看到中位值法对于离群值处理的结果。
在这里插入图片描述
虽然中值方法能够将所有离群值筛除,但是在8s处的波峰位置,极值点被不属于中位数,所以被消除了。在2s处,由于噪声比较复杂,所以出现了信号不光滑的现象(这里如果加上高频噪声,不光滑现象会更明显)。

3.2 标准差法和MAD法

标准差法又叫做 3 σ 3 \sigma 3σ法。目的是规定一个数据波动阈值,当数据超过这个阈值的时候,便认为该数据离群。这个方法阈值的选取方法,采用窗口数据的3倍标准差。

MAD法也是定义了一个阈值,这个阈值叫做中位数绝对偏差MAD。如果超过了3倍的MAD,则认为该数据离群。

两者在Matlab里,可以用filloutliers()函数进行实现。下面代码对比了标准差法和MAD法在消除离群值的效果。

clear
clc
close all

%离群值的删除
t = 0:0.06:10;
A = sin(t)+0.1*rand(size(t));

Ri = randi(length(t),4,1);
A2 = A;
A2(Ri) = A(Ri)*3;

figure(3)
B2 = filloutliers(A2,'linear','movmean',11);%标准差法
B3 = filloutliers(A2,'linear','movmedian',11);%MAD法

subplot(3,1,1)
plot(t,A2)
YL = ylim;
subplot(3,1,2)
plot(t,B2)
ylim(YL)
subplot(3,1,3)
plot(t,B3)
ylim(YL)

下图可以看到,原本4个离群值,标准差法只找到了1个,但是MAD方法能够做到全部找到,说明MAD方法比标准差法的效果更好,一般更推荐用MAD方法。
在这里插入图片描述

3.3 Matlab中其它离群值消除方法

matlab自带的函数smoothdata还有两种方法,可以兼顾去噪和去除离群噪声,一个是’rlowess’ 方法,一个是’rloess’ 方法。下面以’rloess’ 方法为例:

t = 0:0.06:10;
A = sin(t)+0.2*rand(size(t));

Ri = randi(length(t),4,1);
A2=A;
A2(Ri) = A(Ri)*3;
figure(4)
B4 = smoothdata(A2,'rloess',8) ;
plot(t,A2,t,B4)
legend('原函数','光滑')

下图可以看到,数据在光滑的同时,顺便也把离群值去掉了。
在这里插入图片描述

4 其它一些FIR滤波器实现光滑去噪

本章参考:
Matlab数字滤波入门 /p/65483011

4.1 FIR和IIR的区别

FIR滤波器也叫做 有限冲击响应滤波器。和它相对的是IIR 无限冲击响应滤波器。在matlab里,有一张图可以比较直观。
在这里插入图片描述
对于FIR滤波器,用到的数据只有输入项b,输出项为1。但是对于IIR滤波器,不仅有输入项b(分子),还有输出项a(分母)。

对于FIR滤波器,由于只有分子b,所以可以用卷积conv()函数去进行滤波。但是对于IIR,就不能用卷积函数去计算。一般认为,IIR函数在相同阶数下,滤波效果要比FIR函数要好,但是有可能出现发散问题。

比如前面的移动平均滤波中的1.3章所介绍的,b=[1/3,1/3,1/3],a=1。就属于一个典型的FIR滤波器。其中,conv(x,b)卷积方法相当于无相位偏移的中心滤波,
y ( n ) = 1 3 ( x ( n − 1 ) + x ( n ) + x ( n + 1 ) ) y(n)=\frac{1}{3} ( x(n-1)+x(n)+x(n+1) ) y(n)=31(x(n1)+x(n)+x(n+1))
而filter(b,a,x)函数相当于有相位偏移的向后滤波
y ( n ) = 1 3 ( x ( n ) + x ( n + 1 ) + x ( n + 2 ) ) y(n)=\frac{1}{3} ( x(n)+x(n+1)+x(n+2) ) y(n)=31(x(n)+x(n+1)+x(n+2))

事实上,通过下面的等式,我们还可以构建一个等价的IIR滤波器:
H ( z ) = 1 3 ( z 0 + z − 1 + z − 2 ) = 1 3 1 − z − 3 1 − z − 1 H(z)=\frac{1}{3}(z^{0}+z^{-1}+z^{-2})=\frac{1}{3}\frac{1-z^{-3}}{1-z^{-1}} H(z)=31(z0+z1+z2)=311z11z3
此时b=[1,0,0,0,-1],a=[1,-1]。

Fs=20;
t = 0:1/Fs:10;
A = cos(2*pi*0.3*t)+1*sin(2*pi*1.2*t)+0.8*rand(size(t));

b=[1/3,1/3,1/3];a=1;
B1 = filter(b,a,A);

b=1/3*[1,0,0,0,-1];a=[1,-1];
B2 = filter(b,a,A);

plot(t,B1,t,B2)

对比这两个滤波器,可以看到滤波效果是基本等价的。
在这里插入图片描述

4.2 利用Matlab构建FIR滤波器

回到FIR滤波器上,之前提到的时域角度提出的均值滤波器和Savitzky-Golay滤波器,都属于FIR滤波器。他们在频域上的表现并不能随意的控制。

如果我们希望构建一个滤波器,让它在频域上满足自己的要求,则可以用fir1()函数去构建。我这里只演示一个简单地,更专业的就不在这里献丑了。

比如,我的采样频率为10hz,我想提取的信号在1hz附近,而噪声则大于等于2hz。因此,需要构建一个低频通过,高频减弱的滤波器,使得在1.5hz以下的信号能够保留,1.5hz以上的信号删除。

于是用下面代码去构建,滤波器长度为31,保留0-0.15之内的信号。(注1:matlab的归一化信号不是0-0.5,而是0-1,所以对应的0.15需要乘以2倍,变成0.3)(注2:最小频率不能是0,必须大于0,所以用0.001代替)(注3:滤波器长度为31是为了演示,实际上不需要这么大的长度,滤波器长度大了的话计算量也会增大)

b = fir1(31,[0.001,0.3]);

构建的滤波器形状和频率特性为:
在这里插入图片描述
滤波器形状很像sin(x)/x函数曲线。因为如果频率特性为理想的阶梯形状,则滤波器时域形态从数学上求解就是sin(x)/x函数,也被简写为sinc(x)函数。这种滤波器叫做sinc滤波器,由于其频域像一个矩形,也叫作矩形滤波器。特点就是低频完全通过,高频全部衰减为0,是一种理想的滤波器。

频率特性满足预期的设计。滤波效果如下:
在这里插入图片描述
附上上面的matlab代码

clear
clc
close all

Fs=10;
t = 0:1/Fs:10;
A = cos(2*pi*1*t)+0.8*sin(2*pi*2*t+0.5*randn(size(t)))+0.5*randn(size(t));

b = fir1(31,[0.001,0.3]);

figure()
subplot(1,2,1)
N=length(b);
stem(-(N-1)/2:1:(N-1)/2,b)%绘制滤波器形状
subplot(1,2,2)
[h,w]=freqz(b,1,512);%输出频率特性
plot(w/2/pi,abs(h))
xlim([0,0.5]);ylim([0,1])


B2 = conv(A,b,'same');%利用卷积的方法计算
%因为FIR滤波可以利用卷积方法代替,这两个等效的

figure()
plot(t,A,t,B2)
legend('原函数','滤波')

5 IIR滤波器实现光滑去噪

比较著名有巴特沃斯滤波器butter()和切比雪夫滤波器cheby1()。这里感觉还有地方没看懂,就不详细写了。matlab里可以通过designfilt()来自定义的构建滤波器。

以butter滤波器为例,采用零相位滤波,和第4.2节一样,希望保留0-0.15之内的信号。那么构建滤波器格式为:

[b,a] = butter(6,0.15*2,'low' );

b为分子,a为分母。6为6阶,代表滤波器的长度为6+1个点。'low’是低通滤波器的意思,0.15*2代表保留0-0.15之内的信号。得到的滤波器幅频响应曲线如下,可以看到能够满足要求。
在这里插入图片描述
利用butter滤波器进行光滑去噪的matlab代码如下:

%butter滤波器
clear
clc
close all


Fs = 10;
t = 0:1/Fs:10;
A = cos(2*pi*1*t)+0.8*sin(2*pi*2*t+0.5*randn(size(t)))+0.5*randn(size(t));
[b,a] = butter(6,0.15*2,'low' );
B = filtfilt(b,a,A);

figure()
[h,w]=freqz(b,a,512);
plot(w/2/pi,abs(h))
xlim([0,0.5]);ylim([0,1])


figure()
plot(t,A,t,B)
legend('原函数','滤波')

平滑后的曲线效果如下图。
在这里插入图片描述

6 小波去噪方法

小波去噪最近刚刚接触,这里也更新补充一下。后续具体原理和算法,我尽快补充上(又挖坑)。和传统去噪相比,其优势在于可以更好的提取出信号的主要部分,受噪声影响较小。

比如下面这个图,传统的移动平均去噪(也包括前面介绍的各种滤波器),由于在频域上相当于全局频域上的滤波,所以会出现:高频信号和噪声一块被滤掉了,中间频域去噪效果比较好,低频受噪声影响严重滤波不足 的现象。这就是全局滤波的缺点,按下葫芦浮起瓢,不能做到高频低频同时兼顾。
请添加图片描述
相比较而言,小波去噪效果就好很多,不仅高频处保留了更多的高频信号信息,低频处的信号也几乎看不到噪声的干扰。

对于非单一频率非周期变化的信号来说,小波去噪的效果明显更好。

matlab有自带的小波去噪函数wden()和wdenoise()。代码如下:

clear
clc
load noisdopp

y1 = wdenoise(noisdopp);
y2 = smoothdata( noisdopp , 'movmean' , 5 );

N=length(y1);
figure()
subplot(2,1,1)
hold on
plot(1:N,noisdopp)
plot(1:N,y1,'linewidth',1)
hold off
xlim([0,1000])
legend('原信号','小波去噪','Location','southeast')
subplot(2,1,2)
hold on
plot(1:N,noisdopp)
plot(1:N,y2,'linewidth',1)
hold off
xlim([0,1000])
legend('原信号','移动平均','Location','southeast')