协方差定义
在概率论和统计学中，协方差用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变量是相同的情况。
期望值分别为E(X) = μ 与 E(Y) = ν 的两个实数随机变量X与Y之间的协方差定义为：
COV(X，Y)=E[(X-E(X))(Y-E(Y))]，其中，E是期望值。
它也可以表示为：直观上来看，协方差表示的是两个变量总体误差的方差，这与只表示一个变量误差的方差不同。
如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。 如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。 如果X与Y是统计独立的，那么二者之间的协方差就是0。 但是，反过来并不成立。即如果X与Y的协方差为0，二者并不一定是统计独立的。
协方差矩阵
假设 X 是以 n 个标量随机变量组成的列向量，并且μk 是其第k个元素的期望值, 即, μk= E(xk), 协方差矩阵然后被定义为：
Σ=E{(X-E[X])(X-E[X])}
如下图：
协方差矩阵的性质
协方差矩阵是对称阵；
协方差矩阵是半正定（非负定）阵。
半正定阵
设M是n阶方阵，如果对任何非零向量z，都有 z'Mz > 0，其中z' 表示z的转置，就称M正定矩阵。
协方差矩阵的半正定性证明：部分转自http://blog.csdn.net/facerec/article/details/1697362
设
其中
单随机变量间的协方差：
随机变量
根据已知的样本值可以得到协方差的估计值如下：
可以进一步地简化为：
协方差矩阵：
其中
如果所有样本的均值为一个零向量，则式（5）可以表达成：
一种证明：
另一种证明：
Y和y都为列向量。
PS：半正定阵对判断函数是否凹、凸函数很有帮助！！！
如有错误请指正！！！