3-python数据分析-pandas高级操作之替换、映射、随机抽样、分组、高级数据聚合、数据加载、透视表、交叉表
替换操作 replace
- 替换操作可以同步作用于Series和DataFrame中
- 单值替换
- 普通替换： 替换所有符合要求的元素:to_replace=15,value='e'
- 按列指定单值替换： to_replace={列标签：替换值} value='value'
- 多值替换
- 列表替换: to_replace=[] value=[]
- 字典替换（推荐） to_replace={to_replace:value,to_replace:value}
单值替换
df = DataFrame(data=np.random.randint(0,50,size=(7,5)))
# 普通替换 df.replace(to_replace=7, value='seven')
# 按列指定单值替换 df.replace(to_replace={0:7}, value='seven')
多值替换
# 字典替换(推荐使用) df.replace(to_replace={7:"seven",40:"四十"}) # 列表替换 df.replace(to_replace=[7,40],value=['seven','四十'])
映射操作 map
map是Series的方法，只能被Series调用
- 概念：创建一个映射关系列表，把values元素和一个特定的标签或者字符串绑定（给一个元素值提供不同的表现形式）
- 创建一个df，两列分别是姓名和薪资，然后给其名字起对应的英文名
dic = { 'name':['jay','tom','jay'], 'salary':[1000,2000,1000] } df = DataFrame(data=dic)
#给jay和tom起两个中文名字 #映射关系表：表明了映射关系 dic = { 'jay':'张三', 'tom':'李四' } df['c_name'] = df['name'].map(dic)
运算工具
Series的方法apply也可以像map一样充当运算工具
- 定义一个方法将它放到map或apply方法中,会将Series中每个元素传到函数中
- apply充当运算工具效率要远远高于map，并且apply既可以用在Series也可以用在DataFrame
超过300部分的钱缴纳50%的税，计算每个人的税后薪资
def after_salary(s): if s > 300: return s - (s-300) * 0.5 return s df['after_salary'] = df['salary'].map(after_salary)
df['salary'].apply(after_salary) 0 650.0 1 1150.0 2 650.0 Name: salary, dtype: float64
随机抽样 take
- take() task中的axis参数含义和drop系列的函数一致,无法使用显示索引
- np.random.permutation( n) 返回0到n-1之间的乱序序列
df = DataFrame(data=np.random.randint(0,100,size=(100,3)),columns=['A','B','C']) np.random.permutation(3) #返回0-2之间的乱序序列 array([2, 0, 1]) # 对原始数据进行打乱，打乱：是对索引打乱 #对行列索引进行打乱并进行随机抽样抽取前10个 df.take(indices=np.random.permutation(3),axis=1).take(indices=np.random.permutation(100),axis=0)[0:10]
数据的分类处理 分组groupby
数据分类处理的核心：
- groupby()函数可以进行分组
- groups属性可以查看分组情况
df = DataFrame({'item':['Apple','Banana','Orange','Banana','Orange','Apple'],
'price':[4,3,3,2.5,4,2],
'color':['red','yellow','yellow','green','green','green'],
'weight':[12,20,50,30,20,44]})
# by 提供了分组条件，通过水果的种类进行分组 df.groupby(by='item') <pandas.core.groupby.groupby.DataFrameGroupBy object at 0x00000271D9577390> #查看分组结果 df.groupby(by='item').groups {'Apple': Int64Index([0, 5], dtype='int64'), 'Banana': Int64Index([1, 3], dtype='int64'), 'Orange': Int64Index([2, 4], dtype='int64')}
分组聚合
分组的目的就是为了后续对各个小组的聚合计算
计算每一种水果的平均价格
# 计算每一种水果的平均价格 df.groupby('item').mean()['price'] # 不推荐使用上面这种，进行了多余计算，浪费运算成本，# 推荐使用下边这种 df.groupby(by='item')['price'].mean() item Apple 3.00 Banana 2.75 Orange 3.50 Name: price, dtype: float64
将每一种水果的平均价格计算出来然后汇总到源数据中
mean_price = df.groupby('item').mean()['price'] # 直接将其转成字典 mean_price_dic = mean_price.to_dict() {'Apple': 3.0, 'Banana': 2.75, 'Orange': 3.5} # 通过映射，映射到原数据 df['mean_price'] = df['item'].map(mean_price_dic)
求出每一种颜色水果的平均重量，将其汇总到源数据中
# 通过color分组计算平均重量并转成字典，通过color映射汇总到原数据 df['color_mean_weight'] = df['color'].map(df.groupby(by='color')['weight'].mean().to_dict())
高级数据聚合
- 使用groupby分组后，也可以使用transform和apply提供自定义函数实现更多的运算
- df.groupby('item')['price'].sum() <==> df.groupby('item')['price'].apply(sum)
- transform和apply都会进行运算，在transform或者apply中传入函数即可
- transform和apply也可以传入一个lambda表达式
apply和transform的区别：
- transform返回的结果是经过映射后的结果
- apply返回的是没有经过映射的结果
# 定义的方法需要作用到运算工具中 def my_mean(s): # s是一组数据 sum = 0 for i in s: sum += i return sum / len(s) # transform和apply就是运算工具 # transform返回的是映射后的结果，直接可以汇总到原数据 df.groupby(by='item')['price'].transform(my_mean) 0 3.00 1 2.75 2 3.50 3 2.75 4 3.50 5 3.00 Name: price, dtype: float64 # apply返回的是没有映射的结果，需要通过map映射才能汇总到原数据 df.groupby('item')['price'].apply(my_mean) item Apple 3.00 Banana 2.75 Orange 3.50 Name: price, dtype: float64
数据加载
读取type-.txt文件数据
- header 参数header默认是将数据第一行作为列索引，指定None后使用隐式索引
- sep 参数sep指定数据通过什么分割
pd.read_csv('./data/type-.txt')
# 指定header等于None不使用第一行作列索引，使用隐式索引 pd.read_csv('./data/type-.txt', header=None)
# 指定sep通过"-"分割数据 pd.read_csv('./data/type-.txt', header=None, sep='-')
读取数据库中的数据
# 连接数据库，获取连接对象 import sqlite3 conn = sqlite3.connect('./data/weather_2012.sqlite') # 读取库表中的数据值， 参数（sql语句，连接对象） pd.read_sql('select * from weather_2012', conn) # 将数据写入数据库，参数（表名，连接对象） text_df.to_sql('text_df', conn) pd.read_sql('select * from text_df', conn)
透视表 pivot_table
- 透视表是一种可以对数据动态排布并且分类汇总的表格格式。在pandas中数据透视表被称作pivot_table。
- 透视表的优点：
- 灵活性高，可以随意定制你的分析计算要求
- 脉络清晰易于理解数据
- 操作性强，报表神器
- pivot_table有四个最重要的参数index、values、columns、aggfunc
数据读取
# 需要指定引擎和编码，否则会报错乱码 df = pd.read_csv('./data/透视表-篮球赛.csv', engine='python', encoding='utf-8')
index参数
分类汇总的分类条件，每个pivot_table必须拥有一个index
# 想看看哈登对阵同一对手在不同主客场下的数据，分类条件为对手和主客场 df.pivot_table(index=['对手','主客场'])
values参数
对计算的数据进行筛选
# 如果我们只需要哈登在主客场和不同胜负情况下的得分、篮板与助攻三项数据 df.pivot_table(index=['主客场','胜负'],values=['得分','篮板','助攻'])
aggfunc参数
设置对数据聚合时使用的函数
- 当我们未设置aggfunc时，它默认aggfunc='mean'计算均值
# 想获得哈登在主客场和不同胜负情况下的总得分、总篮板、总助攻时： # 将aggfunc参数设为sum，就是对数据求和 df.pivot_table(index=['主客场','胜负'],values=['得分','篮板','助攻'], aggfunc='sum')
columns参数
设置列层次字段, 对values字段进行分类
# 获取所有队主客场的总得分 df.pivot_table(index='主客场',values='得分', aggfunc='sum')
# 查看主客场下的总得分的组成元素是谁 df.pivot_table(index='主客场', values='得分', aggfunc='sum', columns='对手')
# fill_value 将空值填充 df.pivot_table(index='主客场', values='得分', aggfunc='sum', columns='对手'，fill_value=0)
交叉表 crosstab
- 是一种用于计算分组的特殊透视图,对数据进行汇总
- pd.crosstab(index,colums)
- index:分组数据，交叉表的行索引
- columns:交叉表的列索引
df = DataFrame({'sex':['man','man','women','women','man','women','man','women','women'],
'age':[15,23,25,17,35,57,24,31,22],
'smoke':[True,False,False,True,True,False,False,True,False],
'height':[168,179,181,166,173,178,188,190,160]})
# 求出各个性别抽烟的人数 pd.crosstab(index=df.smoke,columns=df.sex)
# 求出各个年龄段抽烟人情况 pd.crosstab(index=df.age, columns=df.smoke)
