大话机器学习之数据预处理与数据筛选

时间:2024-03-02 14:24:24

大话机器学习之数据预处理与数据筛选

数据挖掘和机器学习这事,其实大部分时间不是在做算法,而是在弄数据,毕竟算法往往是现成的,改变的余地很小。

数据预处理的目的就是把数据组织成一个标准的形式。

1.归一化

归一化通常采用两种方法。

a.最简单的归一化,最大最小值映射法

P_New=(P-MI)/(MA-MI)

P是原始数据,MI是这一属性中的最小值,MA是这一属性中的最大值。这样处理之后,所有的值都会限定在0-1之间。

b.标准差标准化

P_New=(P-AVG(P))/SD(P)
      其中AVG(P)为变量均值,SD(P)为标准差.

这个方法还有一个好处,就是当你发现如此处理之后,有的数字很离奇,就可以认为是异常值,直接剔除。

2、离散化

如果你的数值是连续的,有时候不是那么好处理,比如年龄。往往把数字离散成小孩,少年,青年等等更加有意义。

3、缺失值问题

这个首先要考虑缺失值的多少,如果过多,不如直接删除属性;如果在可接受范围内,则利用平均值、最大值或者别的适合的方案来补充。

当然还有一种方法,先用方法1对不缺失的记录建模,然后用该方法预测缺失值;然后用方法2最终建模。当然,这里存在许多问题,比如方法一的准确度、方法1和方法2使用同一种方法的时候产生的信息冗余。

4、异常数据点

实际的数据集有很多是异常数据,可能是由于录入错误或者采集中受到干扰等因素产生的错误数据。通常剔除异常数据的方法最常用的有如下两种。

寻找附近的点,当最近的点的距离大于某一个阈值的时候,就认为是异常点。当然也可以在限定距离内,包含的数据点少于某个数目的时候认为是异常点。

前者是基于距离,后者是基于密度。当然,还可以把两者结合,指定距离的同时也指定数目,这叫做COF。

5、数据的筛选

我们在预处理好数据之后,有时候数据的维度是很大的,出于经济性考虑,当然,需要降维或者特征选择。有时候降为和特征选择也会增加准确度。

降维通常使用PCA,主成分分析。直观上,就是把几个变量做线性组合,变成一个变量;特征选择则比较简单,就是选择相关性强的特征。

当然,PCA其实设计到矩阵的奇异值分解,具体的数学原理就不展开了。