Python数据分析中对重复值、缺失值、空格的处理

对重复值的处理

把数据结构中，行相同的数据只保留一行

函数语法：

    drop_duplicates()

from pandas import read_csv

df = read_csv(文件位置)
newdf = df.drop_duplicates();

 

对缺失值的处理

缺失值的产生

    1、有些信息暂时无法获取

    2、有些信息被遗漏或者错误处理了

缺失值的处理方式

    1、数据补齐

    2、删除对应缺失行

    3、不处理

 

缺失值处理

    dropna函数的作用：去除数据结构中值为空的数据

    dropna函数语法：dropna（）

from pandas import read_csv

df = read_csv(文件的位置)
newdf = df.dropna()

对空格值的处理

strip函数的作用：清除字符型数据左右的空格

strip函数的语法：strip()

from pandas import read_csv

df = read_csv(文件的位置)
newdf = df [数据中的一个列名].str.strip()
df[被处理的列名]= newdf