数据清洗

数据清洗的概念

专业定义

数据清洗是从记录表、表格、数据库中检查、纠正或删除损坏或不准确记录的过程。

 

专业名词

脏数据

没有经过处理自身含有一定问题的数据（缺失、异常、重复......）

 

干净数据

经过处理的完全符合规范要求的数据

 

 

常用方法

1.读取外部数据

read_csv
read_excel
read_sql
read_html

　　

2.数据概览

index、colums、head、tail、shape、describe、info、dtypes

　　

3.简单处理

移除首尾空格，大小写转换......

 

4.重复值处理

duplicated()  # 查看是否含有重复数据
drop_duplicates()  # 删除重复数据

　　

5.缺失值处理

删除缺失值、填充缺失值

 

6.异常值处理

删除异常值、修正异常值（当作缺失值处理）

 

7.字符串处理

切割、筛选......

 

8.时间格式处理

Y（年）  m（月）  d（日）  H（时）  M（分）  S（秒）

 

步骤3到8没有固定的顺序，只不过前期不熟练的情况下可以如此执行

 

数据概览

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

df = pd.read_csv(r'qunar_freetrip.csv')
# 1.查看前五条数据 掌握大概
df.head()
# 2.查看表的行列总数
df.shape
# 3.查看所有的列字段
df.columns  # 发现列字段有一些是有空格的
# 4.查看数据整体信息
df.info()  # 发现去程时间和回程时间是字符串类型需要做日期类型转换
# 5.快速统计
df.describe()

df.columns

　　

 

列字段处理

删除无用字段

df.drop(columns='Unnamed: 0',axis=1,inplace=True)

　　

获取列字段

col = df.columns.values

　　

 

for循环依次取出列字段首位的空格

方式1

ccs = []
for col in cols:
    ccs.append(col.strip())
print(ccs)

　　

 

方式2:列表生成式

df.columns = [col.strip() for col in cols]

　　

 

重复值处理

重复数据查找

df.dupliacted()

　　

 

简单看看重复数据的模样（布尔值索引）

 

针对重复的数据一般都是直接删除的

df.drop_dupliactes(inplace=True)

　　

如何获取表的行索引值

df.index

　　

 

右侧加上赋值符号就是修改行索引值

df.index = range(0,df.shape[0])
df.tail()

　　

 

异常值处理

利用快速统计大致筛选出肯有异常数据的字段

df.describe()  # 价格小于节省，那么可能是价格有问题或者节省有问题

　　

 

利用公式求证猜想

sd = (df['价格'] - df['价格'].mean()) / df['价格'].std()  # 判断的标准
# 利用逻辑索引筛选数据
df[(sd > 3)|(sd < -3)]
# 利用绝对值
df[abs(sd) > 3]  # abs就是绝对值的意思(移除正负号)

　　

 

同理验证节省是否有异常

# 同理验证节省是否有异常(不一定要使用)
# sd1 = (df['节省'] - df['节省'].mean()) / df['节省'].std()  # 判断的标准
# 利用逻辑索引筛选数据
# df[(sd > 3)|(sd < -3)]
# 利用绝对值
# df[abs(sd1) > 3]  # abs就是绝对值的意思(移除正负号)

　　

 

直接简单粗暴找节省大于价格的数据

df[df['节省'] > df['价格']]

　　

 

删除价格和节省都有异常的数据

方式1：先拼接，再一次性删除

# 横向合并pd.merge()
# 纵向合并pd.concat()
# res = pd.concat([df[df['节省'] > df['价格']],df[abs(sd) > 3]])
## 获取要删除的行数据 索引值
# del_index = res.index
# 根据索引删除数据
df.drop(index=del_index,inplace=True)
# 再次重置索引
df.index = range(0,df.shape[0])

　　

 

方式2: 得出一个结果就删一个

 

出发地的缺失值处理

查找具有缺失值的列名称

df.isnull().sum()  # 统计每个字段缺失数据条数

　　

 

利用布尔值索引筛选出出发地有缺失的数据

df[df.出发地.isnull()]

　　

 

获取出发地缺失的数据的路线数据

df.loc[df.出发地.isnull(),'路线名'].values

　　

 

利用字符串切割替换出发地缺失数据

df.loc[df.出发地.isnull(),'出发地'] = [i.split('-')[0] for i in df.loc[df.出发地.isnull(),'路线名'].values]

　　

 

操作数据的列字段需要使用loc方法

针对缺失值的处理

采用数学公式依据其他数据填充

缺失值可能在其他单元格中含有

如果缺失值数量展示很小可删除

 

目的地的缺失值处理

# 针对目的地操作如下（筛选要比出发地难!!!）
# df[df.目的地.isnull()]  
# 获取目的地缺失的路线数据
# df.loc[df.目的地.isnull(),'路线名'].values
# 利用正则筛选出目的地
import re
# 案例演示
reg_exp = '-(.*?)\d'
# res = re.findall(reg_exp,'深圳-秦皇岛3天2晚 | 入住大连黄金山大酒店 + 南方航空/东海往返机票')

df.loc[df.目的地.isnull(),'目的地'] = [re.findall(reg_exp,i) for i in df.loc[df.目的地.isnull(),'路线名'].values]

　　

 

补充

MySQL中如何快速判断某列是否含有重复的数据

思路

统计某个字段下的数据的个数，再利用去重操作，两者结合判断

select count(name) from userinfo;
select count(distinct(name)) from userinfo;

　　

如果两者数组相同表示name列没有重复的数据，不同表示含有重复的数据。

 

小练习

给表多加几列：酒店类型，评分游玩时间

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import re

df = pd.read_csv(r'qunar_freetrip.csv')
cols = df.columns.values

an_list = []
res = df['酒店']
r = '(.*?)型'
for i in res:
    k = i.split(' ')[1]
    res2 = re.findall(r,k)
    if not res2:
        an1 = 'none'
    else:
        an1 = res2[0]
    an_list.append(an1)

r2 = '(.*?)分'
an_list2 = []
for i2 in res:
    k1 = i2.split('/')[0]
    res3 = k1.split(' ')[-1]
    an_list2.append(res3)

path_name = df['路线名']
time_cost = []
for i3 in path_name:
    k4 = i3.split('|')[0]
    k5 = k4.split('-')[1][-5:-1]
    time_cost.append(k5)

df['酒店类型'] = an_list
df['评分'] = an_list2
df['游玩时间'] = time_cost
df