数据清洗的几种常用手段

时间:2024-02-22 08:55:50

    数据清洗主要是删除原始数据集中的无关数据、重复数据,过滤与挖掘主题无关的数据,处理缺失值和异常值。

 

缺失值的处理办法

 

    1、不处理

    2、删除记录

    3、数据插补

      a、插补均值、中位数、众数

      b、使用固定值,用一个常量替换。如一个普通工人的工资缺失,可以按照当地的工资标准给值

      c、最近插补:利用与缺失样本最接近的样本的该属性值插补

      d、回归插补:建立拟合模型预测缺失值

      e、插值法

 

    插值法主要有两种:拉格朗日插值法和牛顿插值法

    拉格朗日插值法就是将样本代入差值多项式,求解近似值。

    牛顿插值法也是多项式的差值,但是采用的构造方法不同f(x)=P(x)+R(x),前一项为逼近函数,后一项为误差函数。我们可以用python来实现拉格朗日插值法。

 

                                                                        

 

    这种插值法,如果插第一个值,会发现得到的结果是负数,明显不符合实际情况,所以还需要修正的。

 

异常值的处理办法

 

    1、删除含有异常值的记录

    2、视为缺失值

    3、平均值修正

    4、不处理