进行数据挖掘的时候,在读取数据后,通常要对所分析建模的数据有一个总体了解。因此需要对数据进行缺失值统计、查看数据分布、查看数据表中每一列的信息等等。
这些在pandas中都有现成的工具,直接调用函数,即可对我们的数据进行一个大致的了解。
这里我们使用titanic生存者数据,进行演示,数据如下:
- 查看数据信息——titanic.info()
titanic.info()
- int、float类型数据总体概述——titanic.describe()
- 缺失值统计——titanic.isnull().sum()和titanic.isnull().any()
这里是对 isnull()的一个再使用。
df.isnull()函数返回的是dataframe表中是否有缺失值的总体概述,df中每一个值都为False或者True
isnull.sum()返回每一列缺失值统计个数
isnull().any() 是对列表对象迭代对象(True or False)进行一个再统计,如果某一列有一个True则这一列的结果返回True