正交矩阵、EVD、SVD

时间:2021-04-15 20:51:07

原文地址:https://www.jianshu.com/p/1004dd342fe2

一、正交矩阵

正交矩阵、EVD、SVD

二、EVD

特征值分解(Eigen Value Decomposition, EVD)。
对于对称阵\(A_{m*m}\),设特征值为\(\lambda_i\),对应的单位特征向量为\(x_i\),则有
正交矩阵、EVD、SVD
若\(A\)非满秩,会导致维度退化,使得向量落入\(m\)维空间的子空间中。
最后,\(U\)变换是\(U^T\)变换的逆变换。

三、SVD

奇异值分解(Singular Value Decomposition, SVD)。
对任意一个\(m*n\)的矩阵\(A\),能否找到一组正交基使得其经过\(A\)变换后得到的还是一组正交基呢?
答案是能,这也正是SVD的设计精髓所在。
现假设存在\(A_{m*n}\),\(rank(A)=k\)。
正交矩阵、EVD、SVD
正交矩阵、EVD、SVD
因此,
\(A=U \Sigma V^T\),
\(AA^T=(U \Sigma V^T)(U \Sigma V^T)^T=U \Sigma V^T V \Sigma^T U^T=U \Sigma^2 U^T\),
\(A^T A=(U \Sigma V^T)^T(U \Sigma V^T)= V \Sigma^T U^T U \Sigma V^T=V \Sigma^2 V^T\)。