关于奇异值分解具体的可以看看这篇博文SVD
奇异值分解(Singular Value Decomposition)是一种重要的矩阵分解方法，可以看做对称方阵在任意矩阵上的推广。
假设A是一个m×n阶实矩阵，则存在一个分解使得：
通常将奇异值由大而小排列。这样，Σ便能由A唯一确定了。
与特征值、特征向量的概念相对应：
Σ对角线上的元素称为矩阵A的奇异值；
U的第i列称为A的关于σi的左奇异向量；
V的第i列称为A的关于σi的右奇异向量。
线性代数
定义：方阵的行列式
1 阶方阵的行列式为该元素本身
n 阶方阵的行列式等于它的任一行 或列 的各元素与其对应的代数余子式乘积之和。
1×1的方阵，其行列式等于该元素本身。
2×2的方阵，其行列式用主对角线元素乘积减去次对角线元素的乘积。
3×3的方阵：
根据“主对角线元素乘积减去次对角线元素的乘积”的原则，得：
在一个n阶行列式A中,把(i,j)元素aij所在的第i行和第j列划去后，留下的n-1阶方阵的行列式叫做元素aij的余子式，记作Mij。
代数余子式：Aij=(-1)i+jMij
伴随矩阵
对于n×n方阵的任意元素aij都有各自的代数余子式Aij=(-1)i+jMij，构造n×n的方阵A*：
A*称为A的伴随矩阵。注意Aij位于A*的第j行第i列。
方阵的逆A.A*=|A|.I
由前述结论：
范德蒙行列式Vandermonde
矩阵的乘法
A 为 m × s 阶的矩阵， B 为 s × n 阶的矩阵，那么， C=A × B 是 m × n 阶的矩阵，其中，
矩阵和向量的乘法
A 为 m × n 的矩阵， x 为 n × 1 的列向量，则 Ax为 m × 1 的列向量，记：
由于 n 维列向量和 n 维空间的点一一对应，上式实际给出了从 n 维空间的点到 m 为空间点的线性变换。
旋转、平移 （齐次坐标下）
特殊的，若 m=n ，且 Ax 完成了 n 维空间内的线性变换。
矩阵的秩
在 m × n 矩阵 A 中，任取 k 行 k 列，不改变这 k2 个元素在 A 中的次序，得到 k 阶方阵，称为矩阵 A 的 k 阶子式。
显然， m × n 矩阵 A 的 k 阶子式有
个。
设在矩阵 A 中有一个不等于 0 的 r 阶子式 D ，且所有r+1 阶子式 如果存在的话 全等于 0 ，那么 D 称为矩阵 A 的最高阶非零子式， r 称为矩阵 A 的秩，记做R(A)=r 。
n × n 的可逆矩阵，秩为 n
可逆矩阵又称满秩矩阵
矩阵的秩等于它行（列 ）向量组的秩
秩与线性方程组的解的关系
对于 n 元线性方程组 Ax=b
无解的充要条件是 R(A)<R(A,b)
有唯一解的充要条件是 R(A)=R(A,b)=n
有无限多解的充要条件是 R(A)=R(A,b)<n
推论：
Ax=0 有非零解的充要条件是 R(A)<n
Ax=b 有解的充要条件是 R(A)=R(A,b)
向量组等价
向量 b 能由向量组 A: a1,a2,...,am 线性表示的充要条件是矩阵 A=(a1,a2,...,am ) 的秩等于矩阵B=(a1,a2,...,am ) 的秩。
设有两个向量组 A:a1,a2,...,am 及 B:b1,b2,...,bn, 若 B 组的向量都能由向量组 A 线性表示，则称向量组 B 能由向量组 A 线性表示。若向量组 A 与向量组 B 能相互线性表示，则称两个向量组等价。
系数矩阵
将向量组A和B所构成的矩阵依次记做A=(a1,a2,...,am ) ,B=(b1,b2,...,bn)B组能由A组线性表示，即对每个向量bj，存在k1j,k2j,...,kmj
使得
从而得到系数矩阵K
对C=AB 的重认识
由此可知，若 C=A × B ，则矩阵 C 的列向量能由 A 的列向量线性表示， B 即为这一表示的系数矩阵。
对偶的，若 C=A × B ，则矩阵 C 的行向量能由B的行向量线性表示， A 即为这一表示的系数矩阵
向量组 B: b1,b2,...,bn 能由向量组 A: a1,a2,...,am 线性表示的充要条件是矩阵A=(a1,a2,...,am ) 的秩等于矩阵
(A,B)=(a1,a2,...,am,b1,b2,...,bn) 的秩，即： R(A)=R(A,B)。
正交阵
若 n 阶矩阵 A 满足 A T A=I ，成 A 为正交矩阵，简称正交阵。
A 是正交阵的充要条件： A 的列 行 向量都是单位向量，且两两正交。
A 是正交阵， x 为向量，则 A x 称作正交变换。
正交变换不改变向量长度
特征值和特征向量
A 是 n 阶矩阵，若数 λ 和 n 维非 0 列向量 x 满足Ax=λx ，那么，数 λ 称为 A 的特征值， x 称为A的对应于特征值 λ 的特征向量。
根据定义，立刻得到 (A-λI)x = 0 ，令关于 λ 的多项式 |A-λI| 为 0 ，方程 |A-λI|=0 的根为 A 的特征值；将根 λ0 带入方程组 (A-λI)x = 0 ，求得到的非零解即 λ0 对应的特征向量。
特征值的性质
设 n 阶矩阵 A=(aij 的特征值为 λ1 ,λ2 ,...λn
则λ1 +λ2 +...+λn =a11 +a22 +…+ann
λ1λ2…λn =|A|
矩阵 A 主行列式的元素和，称作矩阵 A 的迹。
已知 λ 是方阵 A 的特征值，则λ2 是 A2 的特征值，A 可逆时，λ1 是 A1 的特征值。
不同特征值对应的特征向量
设 λ1,λ2,...,λm 是方阵 A 的 m 个特征值，p1,p2,...,pm 是依次与之对应的特征向量，若 λ1,λ2,...,λm 各不相等，则p1,p2,...,pm 线性无关。
引理
实对称阵的特征值是实数
设复数λ为对称阵A的特征值，复向量x为对应的特征向量，即Ax=λx(x≠0)
用
表示λ的共轭复数，
表示x的共轭复向量，而A是实矩阵，有
利用上述结论很快得到：
将实数 λ 带入方程组 (A-λI)x=0 ，该方程组为实系数方程组，因此， 实对称阵 的特征向量可以取 实向量 。
实对称阵不同特征值的特征向量正交
令实对称矩阵为 A ，其两个不同的特征值 λ1λ2对应的特征向量分别是 μ1μ2；
λ1λ2μ1μ2都是实数或是实向量。
最终结论：设 A 为 n 阶 对称阵 ，则必有 正交阵 P ，使得P-1AP=PTAP=Λ
Λ 是以 A 的 n 个特征值为对角元的对角阵。
该变换称为“合同变换”， A 和 Λ 互为合同矩阵。
白化/漂白whitening
计算观测数据x的n×n的对称阵x.xT的特征值和特征向量，用特征值形成对角阵D，特征向量形成正交阵U，则
x.xT=UTDU
令：
则：
正定阵
对于 n 阶方阵 A ，若任意 n 阶向量 x ，都有xTAx>0 ，则称 A 是正定阵。
若条件变成 xTAx≥0 ，则 A 称作半正定阵
类似还有负定阵，半负定阵。
正定阵的判定:
对称阵A为正定阵；
A的特征值都为正；
A的顺序主子式大于0；
以上三个命题等价。
利用定义证明:
若A、B为n阶半正定阵，则
从而，
即： 
为半正定阵。从而，n阶半正定阵的集合为凸锥。
QR分解
对于m×n的列满秩矩阵A，必有：
其中QT·Q=I， (即列正交矩阵)，R为非奇异上三角矩阵。当要求R的对角线元素为正时，该分解唯一。
该分解为QR分解。可用于求解矩阵A的特征值、A的逆等问题。
QR分解计算特征值
计算 n 阶方阵 A 的特征值：
向量的导数
A为m×n的矩阵， x为n×1的列向量，则Ax为m×1的列向量，记:
推导:
结论与直接推广:
向量偏导公式：
标量对向量的导数
A为n×n的矩阵， x为n×1的列向量，
标量对方阵的导数:
A为n×n的矩阵， |A|为A的行列式，计算
解：根据等式
依据：A·A*=|A|·I，第二个等式成立；
总结
线性代数是普适的数学工具，是进一步学习其他内容的基础。
有些机器学习的推导过程使用该工具表述清晰，易于推广，如线性回归。
重点思考特征值、特征向量和矩阵的关系。