一、最小二乘理论

1、线性方程组 $Ax=b$ 解的形式

A可逆， $x=A^{-1}b$
A列满秩，独立方程数大于未知量数，方程有最小二乘解， $\hat{x}_{LS}=(A^HA)^{-1}A^Hb$
A行满秩，位置量数目大于方程数，方程有无穷多组解，但有唯一最小范数解， $\hat{x}_{F}=A^H(AA^H)^{-1}b$

2、LS估计的确定型正则方程

现代数字信号处理第六章——最小二乘理论和算法
$\quad$ 经过推导，令数据矩阵 $A^H$ 如下图所示，则估计值 $\hat{b}=Aw$ ，误差为 $e=b-\hat{b}=b-Aw$

$\quad$ 横向滤波器的设计原则是：寻找权向量使得误差信号 $e(n)$ 在某种意义下取得极小值。即 $J=\sum_{n=M}^N|e(n)|^2=|e|^2=e^He\\=(b^H-w^HA^H)(b-Aw)\\=b^Hb-b^HAw-w^HA^Hb-w^HA^HAw\\\Delta J=-2A^Hb+2A^HAw=0\\确定性正则方程：A^HA\hat{w}=A^Hb\\最小二乘解：\hat{w}=(A^HA)^{-1}A^Hb\\最小二乘估计：\hat{b}=A\hat{w}，简称LS估计$

3、LS估计正交原理

A中每一列都与误差向量 $e$ 正交： $A^He=A^H(b-A\hat{w})=A^Hb-A^HA\hat{w}=0$
估计向量 $\hat{b}是b$ 的一个正交投影： $\hat{b}e=\hat{b}(b-A\hat{w})=0$

4、代价函数极小值 $J_{min}=e^H_{min}e_{min}$

二、LS问题的求解——奇异值分解

$\quad$ 直接求解 $A^HA\hat{w}=A^Hb$ 工程上不易实现。我们借助奇异值分解可以求出 $A^HA$ 的逆。假设 $A$ 含有 $M$ 个非零特征值 $\sum=\{\sigma_1,\sigma_2,\cdots,\sigma_M\}$ ，可以将 $A^HA$ 分解为酉矩阵 $X$ 的表达式 $A^HA=X\sum^2X^H$ ，因为酉矩阵 $X^{-1}=X$ ，可得 $(A^HA)^{-1}=X\sum^{-2}X^H$ ，展开可得：
现代数字信号处理第六章——最小二乘理论和算法
故而， $\hat{w}=\sum_{i=1}^M\frac{x_ix_i^H}{\sigma_i^2}A^Hb$ 。利用SVD得到LS问题的算法如下：

三、基于LS估计的FBLP原理和功率谱估计

$\quad$ 对于FLP而言，数据矩阵为现代数字信号处理第六章——最小二乘理论和算法
代价函数为
对于BLP而言，数据矩阵和代价函数依次是：

$\quad$ 令FBLP的代价函数为FLP和BLP之和，即 $J=J_f+J_b$ ，
$\quad$ 定义向量 $b^H=[b^H_f,b^T_b],A^H=[A^H_f,A^T_b]$ ，则 $J=b^Hb-b^HAw-w^HA^Hb-w^HA^HAw$ ，只需使得 $A^HAw=A^Hb$ 便能最小化误差。