在建模或数据分析前，首先要做的事情就是数据预处理，数据预处理的好坏，很大程度上决定了模型或分析结果的好坏。其中，异常值（outliers）检测是整个数据预处理过程中，十分重要的一环。方法也是多种多样。
1、经验法，对行业数据比较了解情况数据分析师，能很快发现数据的问题，经常能发现一些数据异常，如果没有经验通过算法也不一定能发现。这也是有经验和没有经验的重要差别。
a）总体检测，总规模、均值进行检测是否异常，与环比同期值、同比值变化阀值是否在合理范围内
b）抽样检测，随机抽样样本，和真实值进行一一对比，看两者是否有差异，从而判断数据是否有问题，如果数据没有问题，数据背后业务上面肯定有原因导致数据源的波动过大
2、概率统计的方法：方差
假设有 n 个点 X1、X 2……假设有 n 个点这里写图片描述，那么可以计算出这 n 个点的均值。方差和均值开发工具（编程语言、数据库、excel）均有直接函数可直接调用。
如MySQL
如是总体（即估算总体方差），根号内除以n MySql对应的函数是STD（对应excel函数：STDEVP）；
Sample standard deviation:
如是抽样（即估算样本方差），根号内除以（n-1）MYSql 对应的函数是 STDDEV_SAMP （对应excel函数：STDEV）；
Excel
1.STDEV：用途：估算样本的标准偏差。它不计算文本值和逻辑值（如 TRUE 和 FALSE）。它反映了数据相对于平均值(mean)的离散程度。
2.STDEVA ：基于样本估算标准偏差。标准偏差反映数值相对于平均值 (mean) 的离散程度。文本值和逻辑值（如 TRUE 和 FALSE）也将计算在内。
3.STDEVP：用途：返回整个样本总体的标准偏差。它反映了样本总体相对于平均值(mean)的离散程度。
下列4列样例数据计算 样本的标准偏差
一般情况下 超出正态分布±3个方差 算异常值，以下计算出每列数字有多少异常点
