pandas之数据处理
import numpy as np
import pandas as pd
from pandas import Series,DataFrame
# 例题
df = DataFrame(data=np.random.randint(0,100,size=(8,4)))
0 1 2 3
0 52 0 19 15
1 666 666 666 666
2 55 52 66 28
3 666 666 666 666
4 81 11 49 12
5 57 80 15 4
6 666 666 666 666
7 13 13 34 87
删除重复元素 (duplicated)
1. duplicated(): 函数检测重复的行，返回元素为布尔类型的Series对象，每个元素对应一行，如果该行不是第一次出现，则元素为True
- keep参数：指定保留哪一重复的行数据
2. 使用duplicated查看所有重复元素行
df.duplicated(keep='first')
- first # 保留第一行重复的值
- last # 保留最后一行重复的值
- False # 不保留重复行
3. 删除重复行
df.loc[~df.duplicated(keep=False)]
4. 使用drop()删除重复行
indexs = df.loc[df.duplicated(keep='last')].index
df.drop(labels=indexs,axis=0)
5. 使用drop_duplicates()函数删除重复的行
df.drop_duplicates(keep='first',inplace=False)
映射 (replace)
Series替换操作
1. replace()函数：替换元素, 使用replace()函数，对values进行映射操作
2. Series替换操作
- 单值替换
- 普通替换
- 字典替换(推荐）
- 多值替换
- 列表替换
- 字典替换（推荐）
- 参数
- to_replace: 被替换的元素
1. 单值普通替换
s = Series(data=[3,4,5,6,8,10,9])
s.replace(to_replace=[5,6],value=['five','six'], inplace=True)
2. replace参数说明：
- method: 对指定的值使用相邻的值填充替换
- limit: 设定填充次数
DataFrame替换操作
1. DataFrame替换操作
- 单值替换
- 普通替换: 替换所有符合要求的元素: (to_replace=15,value='e')
- 按列指定单值替换: to_replace={列标签：替换值} value='value'
- 多值替换
- 列表替换: to_replace=[] value=[]
- 字典替换（推荐） to_replace={to_replace:value,to_replace:value}
1) 将 666 替换为 six (全部替换)
df.replace(to_replace=666,value='six')
2) 将所有 0 替换为 zero, 5 替换为 five
df.replace(to_replace={0:'zero', 5:'five'})
3) 将第二列的 666 替换为 six, (当设置参数value时, 字典的键则为指定列)
df.replace(to_replace={2:666},value='six')
注意: DataFrame中，无法使用method和limit参数
map函数
1. map()函数：新建一列, map函数并不是df的方法, 而是series的方法
- map()可以映射新一列数据
- map()中可以使用lambd表达式
- map()中可以使用方法，可以是自定义的方法
eg:map({to_replace:value})
注意: map()中不能使用sum之类的函数，for循环
name salary
0 jay 12000
1 tom 7000
2 jay 12000
1. 新增一列：给df中，添加一列，该列的值为英文名对应的中文名
# 映射关系表
dic = {
'jay':'周杰伦',
'tom':'汤姆',
}
df['c_name'] = df['name'].map(dic)
2. map当做一种运算工具，至于执行何种运算，是由map函数的参数决定的（参数：lambda，函数）
1) 使用自定义函数, 超过3000部分的钱缴纳50%的税
def after_salary(s): # s 为 salary 列对应的每一个元素
if s <= 3000:
return s
else:
return s - (s-3000)*0.5 # 对每一个元素进行操作并返回
df['after_salary'] = df['salary'].map(after_salary)
注意: 并不是任何形式的函数都可以作为map的参数。只有当一个函数具有一个参数且有返回值，那么该函数才可以作为map的参数。
使用聚合操作对数据异常值检测和过滤
1. 使用df.std()函数可以求得DataFrame对象每一列的标准差
1) 创建一个1000行3列的df 范围（0-1），求其每一列的标准差
df = DataFrame(data=np.random.random(size=(1000,3)),columns=['A','B','C'])
std_twice = df['C'].std() * 2
df['C'] > std_twice
df.loc[~(df['C'] > std_twice)]
2) 对df应用筛选条件,去除标准差太大的数据:假设过滤条件为 C列数据大于两倍的C列标准差
df['C'] > std_twice
df.loc[df['C'] > std_twice]
indexs = df.loc[df['C'] > std_twice].index
df.loc[indexs,'C'] = np.nan
df.fillna(axis=0,method='ffill',inplace=True)
df.fillna(axis=0,method='bfill',inplace=True)
排序
1. 使用.take()函数排序
- take()函数接受一个索引列表，用数字表示,使得df根据列表中索引的顺序进行排序
- eg:df.take([1,3,4,2,5])
可以借助np.random.permutation()函数随机排序
1) 通过显式索引对列进行排序
df.take([2,1,0],axis=1)
2) 随机排序列
df.take(np.random.permutation(3),axis=1)
3) 随机排序行和列
df = df.take(np.random.permutation(3),axis=1).take(np.random.permutation(1000),axis=0)
2. np.random.permutation(x)可以生成x个从0-(x-1)的随机数列
np.random.permutation(5) # array([1, 0, 3, 4, 2])
3. 随机抽样
当DataFrame规模足够大时，直接使用np.random.permutation(x)函数，就配合take()函数实现随机抽样
数据分类处理 (重点)
1. 数据聚合是数据处理的最后一步，通常是要使每一个数组生成一个单一的数值。
1) 数据分类处理:
- 分组：先把数据分为几组
- 用函数处理：为不同组的数据应用不同的函数以转换数据
- 合并：把不同组得到的结果合并起来
2) 数据分类处理的核心:
- groupby()函数
- groups属性查看分组情况
- eg: df.groupby(by='item').groups
分组
示例数据: df
color item price weight
0 red Apple 4.0 12
1 yellow Banana 3.0 20
2 yellow Orange 3.0 50
3 green Banana 2.5 30
4 green Orange 4.0 20
5 green Apple 2.0 44
1. 分组
1) 使用groupby实现分组
df.groupby(by='item',axis=0) # 返回一个对象
2) 使用goups属性查看分组情况
df.groupby(by='item',axis=0).groups
2. 分组后的聚合操作: 分组后的成员中可以被进行运算的值会进行运算，不能被运算的值不进行运算
1) 给df创建一个新列，内容为各个水果的平均价格
mean_price = df.groupby(by='item',axis=0).mean()['price']
2) 调用 to_dict() 方法, 将结果生成一个字典, 并映射在df中
dic = mean_price.to_dict() # {'Apple': 3.0, 'Banana': 2.75, 'Orange': 3.5}
df['mean_price'] = df['item'].map(dic)
3) 按颜色查看各种颜色的水果的平均价格, 映射在df中
color_mean_price = df.groupby(by='color',axis=0)['price'].mean()
dic = color_mean_price.to_dict()
df['color_mean_price'] = df['color'].map(dic)
高级数据聚合
1. 使用groupby分组后，也可以使用transform和apply提供自定义函数实现更多的运算
- df.groupby('item')['price'].sum() <==> df.groupby('item')['price'].apply(sum)
- transform和apply都会进行运算，在transform或者apply中传入函数即可
- transform和apply也可以传入一个lambda表达式
数据: df
color item price weight
0 red Apple 4.0 12
1 yellow Banana 3.0 20
2 yellow Orange 3.0 50
3 green Banana 2.5 30
4 green Orange 4.0 20
5 green Apple 2.0 44
1) 使用apply函数求出水果的平均价格
def fun(s):
sum = 0
for i in s:
sum+=i
return sum/s.size
df.groupby(by='item')['price'].apply(fun)
2) 使用transform函数求出水果的平均价格
df.groupby(by='item')['price'].transform(fun)
3) apply还可以代替运算工具形式map
s = Series(data=[1,2,3,4,5,6,7,87,9,9])
s.map(func) # 用于series上，是元素级别的操作
s.apply(func) # 用在dataframe上，用于对row或者column进行计算
pandas 数据处理流程
- 清洗空值
- dropna
- fillna
- 指定形式的赋值
- isnull notnull any all
- 清洗重复值
- 清洗异常值
