数据清洗主要是删除原始数据集中的无关数据、重复数据,过滤与挖掘主题无关的数据,处理缺失值和异常值。
缺失值的处理办法
1、不处理
2、删除记录
3、数据插补
a、插补均值、中位数、众数
b、使用固定值,用一个常量替换。如一个普通工人的工资缺失,可以按照当地的工资标准给值
c、最近插补:利用与缺失样本最接近的样本的该属性值插补
d、回归插补:建立拟合模型预测缺失值
e、插值法
插值法主要有两种:拉格朗日插值法和牛顿插值法
拉格朗日插值法就是将样本代入差值多项式,求解近似值。
牛顿插值法也是多项式的差值,但是采用的构造方法不同f(x)=P(x)+R(x),前一项为逼近函数,后一项为误差函数。我们可以用python来实现拉格朗日插值法。
这种插值法,如果插第一个值,会发现得到的结果是负数,明显不符合实际情况,所以还需要修正的。
异常值的处理办法
1、删除含有异常值的记录
2、视为缺失值
3、平均值修正
4、不处理