目录
一、Bias和Variance的含义和关系
bias and variance图示：
链接请点击：Understanding the Bias-Variance Tradeoff, 作者 Scott Fortmann-Roe.
简单来说：
- Error due to Bias（来自于Bias的误差）：该误差是模型预测值得期望V.S真实值之间的差异。举个栗子：如上图所示，想象我们从原始样本集中抽取N个子样本集，得到N个模型，那么对于某个点（图中为靶心点）的预测可以得到N个点（预测值），预测点（预测值）的平均分布（期望）和中心红点（实际值）之间的差异就是Bias。
- Error due to Variance（来自Var的误差）：该误差是模型预测结果相对于真实值的离散程度。具体看上图。
附注：误了Var和Dias，还有一个无法消除的误差Irreducible Error，由于我们对其无可奈何、束手无策，在此不予讨论。
二、误差公式例子中中怎么理解？
即误差Err / 偏差Bias / 方差Var / 不可避免的标准差
之间是什么关系？ 先上结论：
误差来源有三个：
- Irreducible Error，即不可避免误差部分；
- Bias，即偏差部分；
- Variance，即方差部分；
举个例子：假设我们手头有个数据集，不妨叫做y集，那么应该存在一条最理想的拟合函数
，
服从 
。如图
- 首先，我们直接得到了误差的第一个部分，就是来自于最理想的拟合函数，大小是
，即Irreducible Error是不可避免的。 - 其次，从下图D中，我们得到了误差的剩余两部分，就是来自于样本的
，它的Var和Bias^2就是误差的偏差和方差部分。展开来讲就是，在总体数据集，即y集上，我们得到的拟合函数，往往偏离理想的拟合函数
这是因为现实中往往有很多条件约束，比如时间不够、y集太大等。我们从训练样本集，经过运算得到的是不那么理想的拟合函数
。
对于上图，请发挥空间想象力，把上图想象为一个半径为
的圆柱形空间，让视线沿着最理想拟合函数的方向望去。然后，我们就能把这个圆缩小成了靶心大小。这样，拟合函数的打靶能力有了上图四种情况。
- 相对于理想的拟合曲线，即靶心圆来说：A结果最好，没有Var和Bias。
- B和C结果次之，分别没有Bias和Var部分。
- D结果最不好，Bias和Var问题共同存在。
三、误差公式数学中怎么理解？
误差来源公式：
1）误差来源公式简单推导。
2）误差公式的详细推导。
- 误差来源公式简单推导：
上式子来源于：
上式子来源于：
其中，真实值Y是因变量，X是自变量，。其中误差服从 。
是
的预估函数（通过线性回归或者其他模型算法得到的）。
- 误差公式的详细推导：
首先，我们知道
；其次，因为函数是确定的（虽然未知&需要利用样本预估），所以
；然后，服从，
：
那么可知：
(1)
(2)
注意：Var（方差）和Err（误差）有点相似：Q和
之间的“离散度”为 Var，Q和
之间的“离散度”为Err。
带入，
带入（1）和（2）式子，
——证明完毕。