数据清洗——Pandas统计缺失值数量、查看数据信息、数据总体概述

时间:2024-05-19 18:40:00

进行数据挖掘的时候,在读取数据后,通常要对所分析建模的数据有一个总体了解。因此需要对数据进行缺失值统计、查看数据分布、查看数据表中每一列的信息等等。

这些在pandas中都有现成的工具,直接调用函数,即可对我们的数据进行一个大致的了解。

这里我们使用titanic生存者数据,进行演示,数据如下:

数据清洗——Pandas统计缺失值数量、查看数据信息、数据总体概述

 

 

  • 查看数据信息——titanic.info()

titanic.info()

数据清洗——Pandas统计缺失值数量、查看数据信息、数据总体概述

 

  • int、float类型数据总体概述——titanic.describe()

数据清洗——Pandas统计缺失值数量、查看数据信息、数据总体概述

 

  • 缺失值统计——titanic.isnull().sum()和titanic.isnull().any()

这里是对 isnull()的一个再使用。

df.isnull()函数返回的是dataframe表中是否有缺失值的总体概述,df中每一个值都为False或者True

 isnull.sum()返回每一列缺失值统计个数

isnull().any() 是对列表对象迭代对象(True or False)进行一个再统计,如果某一列有一个True则这一列的结果返回True

数据清洗——Pandas统计缺失值数量、查看数据信息、数据总体概述