【Educoder数据挖掘实训】冗余值的处理

【Educoder数据挖掘实训】冗余值的处理

开挖

这个题就比较容易了，实训里的要求写的也比较清楚。
主要是讲解了$drop\_duplicates$函数，该函数补全如下：

DataFrame.drop_duplicates(subset=None, keep='first', inplace=False, ignore_index=False)

其中，$subset$是固定那些行，$keep$是针对冗余信息的处理方式，$inplace$是指是否对表格进行直接修改，$ignore\_index$表示是否重置索引。

题目还介绍了$reset\_index$函数，只需要按照题目要求完成即可。

代码如下：

import pandas as pd

data = pd.read_csv("src/death.csv", index_col='Unnamed: 0')

data = data.dropna(axis=1, thresh=data.shape[0] * 0.2)
data = data.dropna(axis=0, thresh=data.shape[1] * 0.2)

a = pd.isna(data).sum()
cols = [x for i, x in enumerate(a.index) if a[i] > 0]

mode_list = 'FIPS Admin2'
for i in cols:
    if mode_list.find(i) != -1: 
        data[i] = data[i].fillna(data[i].mode().iloc[0])
    else:
        data[i] = data[i].fillna(data.mean()[i])

########## Begin ##########
df = pd.DataFrame(data = data)
#去除所有重复项
df = df.drop_duplicates(keep = False)
#重置索引，从0重新开始
data = df.reset_index(drop = True)

########## End ##########

print(data)

---

做一些补充

如果前几个实训有过尝试就会发现，$data$本身就是一个$DataFrame$类型的数据，所以我们根本不需要强制转换类型，也就是

df = pd.DataFrame(data = data)

这一步是完全没用的，直接对$data$操作即可。

代码更改为：

import pandas as pd

data = pd.read_csv("src/death.csv", index_col='Unnamed: 0')

data = data.dropna(axis=1, thresh=data.shape[0] * 0.2)
data = data.dropna(axis=0, thresh=data.shape[1] * 0.2)

a = pd.isna(data).sum()
cols = [x for i, x in enumerate(a.index) if a[i] > 0]

mode_list = 'FIPS Admin2'
for i in cols:
    if mode_list.find(i) != -1: 
        data[i] = data[i].fillna(data[i].mode().iloc[0])
    else:
        data[i] = data[i].fillna(data.mean()[i])

########## Begin ##########
#去除所有重复项
data = data.drop_duplicates(keep = False)
#重置索引，从0重新开始
data = data.reset_index(drop = True)

########## End ##########

print(data)

但是上述的$drop$函数里有一个参数叫$ignore\_index$，难道不可以直接对这个参数进行操作进而不需要$reset\_index$了吗？
不可以，因为$Educoder$上给出的$Pandas$版本过于老旧，当时的$drop\_duplicates$函数还只有三个参数，并不能自行重置索引。

而在$rese{t}_{i}ndex$函数中的$drop$，则是是否保留原索引列。如果直接调用这个函数而不置$drop$为$True$的话，$drop$默认为$False$会单独将原索引列保留为一个普通列。