数据清洗步骤

pandas 数据清洗步骤

拿到数据之后，第一步是什么？

加载数据到pandas,查看数据结构。data.head(),data.info, data.shape().

 

第二步，处理空值

处理空值第一步，先查看空值的结构。 data.isnull().sum()

根据数据分析的需要，如果空值所在数据行有修复可能和保存必要，就去修复（比如 填充前后行的数据，用均值填充等）

如果没有保留必要，就删除空值所在数据行data.dropna(axis=0,inplace=True), data,reset_index(drop=True,inplace=True)

 

处理重复值

data.drop_duplicates(inplace=True), data.reset_index(drop=True,inplace=True)

 

第三步， 转换字段类型

通常是时间类型的数据需要转换，通常我们日期时间加载到Pandas之后会以int,或者str类型存在

real_time = []

for i in data['time']:

　　timeArray = time.localtime(i):

　　otherStyleTime = time.strftime('%Y-%m-%d %H:%M:%S',timeArray)

　　real_time.append(otherStyleTime)

data['real_time'] = real_time

data.drop(labels='time',inplace=True,axis=1)　　

data['real_time'] = pd.to_datetime(data['real_time'])

 

时间类中既有日期也有具体的时分秒，有时候我们需要将日期和时间分开 方便统计。

data['H'] = data.real_time.dt.hour     # real_time 必须是时间格式才能调用dt

data['date'] = data.real_time.dt.date

data['date'] = data.date.astype('str')

 

对于有时间日期参与的数据分析，我们可以查看时间的格式，如果只有某几个时间不连续，我们可以删除这些差异值

data.date.unique()  # 查看日期，差异非常大的日期值 我们删除掉

只有一个时间是2月份的，其它都是连续的日期

data.drop(labels = data.loc['data.date = '2067-02-21'].index,inplace = True)

data.reset_index(drop=True,inplace = True)

data.shape()