方差(Var):
方差描述了随机变量取值的离散程度
样本方差(SVar):
M2是二阶样本矩,即按照方差的定义以1/n代替1/(n-1)。当拿到一组数据的时候该用一般的方差定义(即总体方差)还是用样本方差呢?要看你是什么目的,如果目的就是要求这些数据的方差(即把这组数据看做总体),那就用总体方差,如果是为了用样本方差估计总体方差,那就用样本方差计算。
标准差(SD):
标准差是方差的开方,也是用来衡量数据的离散程度,也可分为总体标准差和样本标准差,区别同总体方差和样本方差。
均方误差(MSE):
均方误差是用来衡量一个估计量对被估计量的近似程度或估计的好坏。从MSE可以引申出无偏估计的概念
可以看到MSE是估计量本身的方差和估计量相对被估计量的偏差的和,当一个估计量为无偏估计时,MSE就等于估计量自身的方差。
在进行模型拟合(用估计量(一般是可观测的随机变量的函数)来对被估计量进行估计也是一种模型拟合)时,通常用下面的公式来计算MSE
用MSE来对模型的拟合效果进行评价时,也包含了两个部分,系统误差和随机误差,系统误差就是上面所说的偏差,随机误差就是估计量(即模型)本身的方差。
均方根误差(Root-Mean-Squared Error or Root-Mean-Squared Deviation):
均方根误差又称为标准误差或标准误,是MSE的平方根,其含义与MSE相同。相对MSE,由于RMSE的量纲与带估计量相同,所以也更常用。
标准误经常用来评价对总体进行多次抽样后得到的平均值的精度,即平均值的标准差。在这里顺便澄清两个概念:多次抽样得到的m个样本组叫样本数量(number of samples),而每次抽样所包含的样本个数叫样本容量(size of samples)。
平均绝对误差(Mean Absolute Error):
平均绝对误差是误差绝对值的平均,能更好地反映预测值误差的实际情况