随机信号处理中，正交，独立，相关等概念的区别与关系

在随机信号处理中，正交、独立和相关是三个重要的概念，它们之间存在一定的区别与关系，以下是对这三个概念的详细解释以及它们之间的区别与联系：

一、概念定义

1. 正交：

• 对于随机变量：若两个随机变量X和Y的内积（即数学期望E[XY]）为0，则称X和Y正交。
• 对于随机信号：若两个随机信号X(t)和Y(t)的互相关函数（即E[X(t1)Y(t2)]）恒等于0，则称X(t)和Y(t)正交。

2. 独立：

• 对于两个随机变量X和Y，若X的有关信息不给出Y的任何信息，并且Y的有关信息也不包含X的任何信息，则称X和Y独立。数学上，这等价于它们的联合概率密度函数等于各自概率密度函数的乘积。
• 等价地，如果两个随机变量X和Y的期望满足$E[XY]=E[X]E[Y]$，则两者相互独立。
• 等价地，如果两个随机变量X和Y的概率密度函数满足$f(x,y)=f_X(x)f_Y(y)$，则两者相互独立。

3. 相关：

• 相关描述的是两个变量之间是否存在线性关系（严格地来说应该说线性相关，但是除非特别指定，一般来说我们说相关的时候都是指线性相关）。

相关系数的定义如下：
$$r_{XY}=\frac{cov(X,Y)}{\sqrt{D[X]D[Y]}}$$
$$r_{XY}=\frac{E[(X-E[X])(E[(Y-E[Y])]}{\sqrt{E[(X-E[X]{)}^2]E[(Y-E[Y]{)}^2]}}$$
$$r_{XY}=\frac{E[XY]-E(X)E[Y]}{\sqrt{E[(X-E[X]{)}^2]E[(Y-E[Y]{)}^2]}}$$

若两个随机变量X和Y的协方差（即E[(X-E[X])(Y-E[Y])]）不为0，则称X和Y相关；否则，称X和Y不相关。

更具体一点来说

• $r_{XY}=1$：X, Y完全（线性）相关
• $r_{XY}=0$：X, Y完全（线性）不相关
• $0<r_{XY}<1$：实际应用中更常见的是这一种情况，属于不完全（线性）相关或者说不完全（线性）不相关。一般来说，如果超过某一门限的话则认为存在（线性）相关性。但是具体门限随不同的应用而不同。

随机过程的互相关函数
BTW, 对于两个随机过程，其互相关函数定义为：
$$R_{XY}(t_1,t_2)=E[X(t_1)Y(t_2)]={\int }_{-\infty }^{\infty }xy{f}_{XY}(x,y,t_1,t_2)dxdy$$

二、区别与关系

1. 正交与不相关：

因为正交是要求$E[XY]=0$，而不相关是要求协方差等于0，即$cov(X,Y)=E[XY]-E(X)E[Y]=0$，一般地来说，两者并没有什么关联。但是在特殊情况下，比如说，两个随机变量其中至少一个是零均值（或者零期望，zero-mean, etc）等的话，即$E[X]E[Y]=0$的条件下，则有：$E[XY]=0 $等价于$cov(X,Y) = E[XY] - E(X)E[Y]=0$，即正交与不相关等价。

• 正交一定不相关，但不相关不一定正交。正交要求的是两个随机变量或信号的内积为0，而不相关只要求它们的协方差为0。当随机变量的期望为0时，正交与不相关等价。

2. 独立与不相关：

由以上相关系数的定义和公式可知，独立的话，$cov(X,Y)=E[XY]-E(X)E[Y]=0$ ⇒ $r_{XY}=0$。
所以，独立一定不相关；
但不相关不一定独立。
独立是更严格的概念，它要求两个随机变量或信号之间没有任何关系（包括线性关系和非线性关系），而不相关只要求它们之间没有线性关系。

3. 正态分布的独立与相关

正态分布是具有非常良好特性的特殊分布。正态分布条件下，独立与不相关是等价的，或者说是互为充要条件。

4. 总结关系：

• 正交是特殊的不相关，即当内积为0时，两个随机变量或信号正交，也就自然不相关。反之，正交且X,Y至少有一个是零期望则不相关。
• 独立是更广泛的概念，涵盖了不相关和正交的情况，但独立的要求更为严格。

三、实际应用

在随机信号处理中，这些概念的应用非常广泛。例如，在通信系统中，为了减小信号之间的干扰，通常希望发送的信号之间是正交或不相关的。此外，在信号检测、估计和滤波等领域，这些概念也发挥着重要作用。

综上所述，正交、独立和相关是随机信号处理中的三个重要概念，它们之间既有区别又有联系。正确理解这些概念及其之间的关系，对于深入理解和应用随机信号处理技术具有重要意义。