pandas数据分析常用函数总结
pandas数据分析常用函数总结
-
- 导入模块
-
- 创建数据集并读取
-
-
-
- 2.1 创建数据集
-
- 2.2 数据写入和读取
-
-
- 数据查看
-
-
-
- 3.1 数据集基础信息查询
-
- 3.2 数据集整体情况查询
-
-
- 数据清洗
-
-
-
- 4.1 查看异常值
-
- 4.2 空值处理
-
-
- 4.2.1 空值检测
- 4.2.2 空值处理
-
- 4.3 空格处理
- 4.4 大小写转换
- 4.5 数据替换
- 4.6 数据删除
- 4.7 数据格式转换
- 4.8 更改列名称
-
- 思维导图
基础知识在数据分析中就像是九阳神功,熟练的掌握,加以运用,就可以练就深厚的内力,成为绝顶高手自然不在话下!
.
为了更好地学习数据分析,我对于数据分析中pandas这一模块里面常用的函数进行了总结。
整篇总结,在详尽且通俗易懂的基础上,我力求使其有很强的条理性和逻辑性,所以制作了思维导图,对于每一个值得深究的函数用法,我也会附上官方链接,方便大家继续深入学习。
.
文章中的所有代码都会有讲解和注释,绝大部分也都会配有运行结果,酱紫的话,整篇总结篇幅量自然不小,所以我分成了上下两篇,这里是上篇。
1. 导入模块
import pandas as pd # 这里用到的是pandas和numpy两个模块
import numpy as np
2. 创建数据集并读取
2.1 创建数据集
我构造了一个超市购物的数据集,该数据集属性包括:订单ID号(id)、订单日期(date)、消费金额(money)、订单商品(product)、商品类别(department)、商品产地(origin)。
# 列表和字典均可传入DataFrame,我这里用的是字典传入:
data=pd.DataFrame({
"id":np.arange(101,111), # np.arange会自动输出范围内的数据,这里会输出101~110的id号。
"date":pd.date_range(start="20200310",periods=10), # 输出日期数据,设置周期为10,注意这里的周期数应该与数据条数相等。
"money":[5,4,65,-10,15,20,35,16,6,20], # 设置一个-10的坑,下面会填(好惨,自己给自己挖坑,幸亏不准备跳~)
"product":['苏打水','可乐','牛肉干','老干妈','菠萝','冰激凌','洗面奶','洋葱','牙膏','薯片'],
"department":['饮料','饮料','零食','调味品','水果',np.nan,'日用品','蔬菜','日用品','零食'], # 再设置一个空值的坑
"origin":['China',' China','America','China','Thailand','China','america','China','China','Japan'] # 再再设置一个america的坑
})
data # 输出查看数据集
输出结果:
| id | date | money | product | department | origin
---|---|---|---|---|---|---
0 | 101 | 2020-03-10 | 5 | 苏打水 | 饮料 | China
1 | 102 | 2020-03-11 | 4 | 可乐 | 饮料 | China
2 | 103 | 2020-03-12 | 65 | 牛肉干 | 零食 | America
3 | 104 | 2020-03-13 | -10 | 老干妈 | 调味品 | China
4 | 105 | 2020-03-14 | 15 | 菠萝 | 水果 | Thailand
5 | 106 | 2020-03-15 | 20 | 冰激凌 | NaN | China
6 | 107 | 2020-03-16 | 35 | 洗面奶 | 日用品 | america
7 | 108 | 2020-03-17 | 16 | 洋葱 | 蔬菜 | China
8 | 109 | 2020-03-18 | 6 | 牙膏 | 日用品 | China
9 | 110 | 2020-03-19 | 20 | 薯片 | 零食 | Japan
2.2 数据写入和读取
data.to_csv("shopping.csv",index=False) # index=False表示不加索引,否则会多一行索引
data=pd.read_csv("shopping.csv")
3. 数据查看
3.1 数据集基础信息查询
data.shape # 行数列数
data.dtypes # 所有列的数据类型
data['id'].dtype # 某一列的数据类型
data.ndim # 数据维度
data.index # 行索引
data.columns # 列索引
data.values # 对象值
3.2 数据集整体情况查询
data.head() # 显示头部几行(默认5行)
data.tail() # 显示末尾几行(默认5行)
data.info() # 数据集相关信息概览:索引情况、列数据类型、非空值、内存使用情况
data.describe() # 快速综合统计结果
4. 数据清洗
4.1 查看异常值
当然,现在这个数据集很小,可以直观地发现异常值,但是在数据集很大的时候,我用下面这种方式查看数据集中是否存在异常值,如果有其他更好的方法,欢迎传授给我。
for i in data:
print(i+": "+str(data[i].unique())) # 查看某一列的唯一值
输出结果: 我们发现,该数据集中money存在一个负值,department存在一个空值以及origin存在大小写问题。
id | [101 102 103 104 105 106 107 108 109 110] |
---|---|
date | [‘2020-03-10’ ‘2020-03-11’ ‘2020-03-12’ ‘2020-03-13’ ‘2020-03-14’ |
‘2020-03-15’ ‘2020-03-16’ ‘2020-03-17’ ‘2020-03-18’ ‘2020-03-19’]
money | [ 5 4 65 -10 15 20 35 16 6]
product | [‘苏打水’ ‘可乐’ ‘牛肉干’ ‘老干妈’ ‘菠萝’ ‘冰激凌’ ‘洗面奶’ ‘洋葱’ ‘牙膏’ ‘薯片’]
department | [‘饮料’ ‘零食’ ‘调味品’ ‘水果’ nan ‘日用品’ ‘蔬菜’]
origin | [‘China’ ’ China’ ‘America’ ‘Thailand’ ‘america’ ‘Japan’]
4.2 空值处理
4.2.1 空值检测
data.isnull() # 查看整个数据集的空值
data['department'].isnull() # 查看某一列的空值
输出结果:
0 | False |
---|---|
1 | False |
2 | False |
3 | False |
4 | False |
5 | True |
6 | False |
7 | False |
8 | False |
9 | False |
将空值判断进行汇总,更加直观,ascending默认为True,升序。
data.isnull().sum().sort_values(ascending=False)
输出结果:
department | 1 |
---|---|
origin | 0 |
product | 0 |
money | 0 |
date | 0 |
id | 0 |
更多关于pandas.DataFrame.sort_values的用法,戳下面官方链接:https://pandas.pydata.org/pandas-
docs/stable/reference/api/pandas.DataFrame.sort_values.html
4.2.2 空值处理
pandas.DataFrame.fillna(value = None,method = None,inplace = False)
- value:用于填充的值,可以是具体值、字典和数组,不能是列表;
- method:填充方法,有 ffill 和 bfill 等;
- inplace默认无False,如果为True,则将修改此对象上的所有其他视图。
更多关于pandas.DataFrame.fillna的用法,戳下面官方链接:https://pandas.pydata.org/pandas-
docs/stable/reference/api/pandas.DataFrame.fillna.html
data['department'].fillna(method="ffill") # 填充上一个值,即填充“水果”
输出结果:
| 处理之前 | | 处理之后
---|---|---|---
0 | 饮料 | 0 | 饮料
1 | 饮料 | 1 | 饮料
2 | 零食 | 2 | 零食
3 | 调味品 | 3 | 调味品
4 | 水果 | 4 | 水果
5 | NaN
| 5 | 水果
6 | 日用品 | 6 | 日用品
7 | 蔬菜 | 7 | 蔬菜
8 | 日用品 | 8 | 日用品
9 | 零食 | 9 | 零食
data['department'].fillna(method="bfill") # 填充下一个值,即填充“日用品”
data['department'].fillna(value="冷冻食品",inplace=True) # 替换为具体值,并且在原对象值上进行修改
输出结果:
| 处理之前 | | 处理之后
---|---|---|---
0 | 饮料 | 0 | 饮料
1 | 饮料 | 1 | 饮料
2 | 零食 | 2 | 零食
3 | 调味品 | 3 | 调味品
4 | 水果 | 4 | 水果
5 | NaN
| 5 | 冷冻食品
6 | 日用品 | 6 | 日用品
7 | 蔬菜 | 7 | 蔬菜
8 | 日用品 | 8 | 日用品
9 | 零食 | 9 | 零食
4.3 空格处理
只针对object类型数据
for i in data: # 遍历数据集中的每一列
if pd.api.types.is_object_dtype(data[i]): # 如果是object类型的数据,则执行下方代码
data[i]=data[i].str.strip() # 去除空格
data['origin'].unique() # 验证一下
输出结果: array([‘China’, ‘America’, ‘Thailand’, ‘america’, ‘Japan’],
dtype=object)
4.4 大小写转换
data['origin'].str.title() # 将首字母大写
data['origin'].str.capitalize() # 将首字母大写
data['origin'].str.upper() # 全部大写
data['origin'].str.lower() # 全部小写
4.5 数据替换
data['origin'].replace("america","America",inplace=True) # 将第一个值替换为第二个值,inplace默认为False
data['origin']
输出结果:
| 处理之前 | | 处理之后
---|---|---|---
0 | China | 0 | China
1 | China | 1 | China
2 | America | 2 | America
3 | China | 3 | China
4 | Thailand | 4 | Thailand
5 | China | 5 | China
6 | america
| 6 | America
7 | China | 7 | China
8 | China | 8 | China
9 | Japan | 9 | Japan
data['money'].replace(-10,np.nan,inplace=True) # 将负值替换为空值
data['money'].replace(np.nan,data['money'].mean(),inplace=True) # 将空值替换为均值
data['money']
输出结果:
| 处理之前 | | 处理之后
---|---|---|---
0 | 5 | 0 | 5.000000
1 | 4 | 1 | 4.000000
2 | 65 | 2 | 65.000000
3 | -10
| 3 | 20.666667
4 | 15 | 4 | 15.000000
5 | 20 | 5 | 20.000000
6 | 35 | 6 | 35.000000
7 | 16 | 7 | 16.000000
8 | 6 | 8 | 6.000000
9 | 20 | 9 | 20.000000
4.6 数据删除
方法一
data1 = data[data.origin != 'American'] #去掉origin为American的行
data1
data2=data[(data != 'Japan').all(1)] #去掉所有包含Japan的行 不等于Japan的行为真,则返回
data2
方法二
data['origin'].drop_duplicates() # 默认删除后面出现的重复值,即保留第一次出现的重复值
输出结果:
0 | China |
---|---|
2 | America |
4 | Thailand |
9 | Japan |
data['origin'].drop_duplicates(keep='last') # 删除前面出现的重复值,即保留最后一次出现的重复值
输出结果:
4 | Thailand |
---|---|
6 | America |
8 | China |
9 | Japan |
更多关于pandas.DataFrame.drop_duplicates的用法,戳下面官方链接:https://pandas.pydata.org/pandas-
docs/stable/reference/api/pandas.DataFrame.drop_duplicates.html#pandas.DataFrame.drop_duplicates
4.7 数据格式转换
data['id'].astype('str') # 将id列的类型转换为字符串类型。
常见的数据类型对照
![在这里插入图片描述](https://img-blog.csdnimg.cn/20200323162114209.jpg?x-oss-
process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1lQU1NKTQ==,size_16,color_FFFFFF,t_70#pic_center)
4.8 更改列名称
data.rename(columns={'id':'ID', 'origin':'产地'}) # 将id列改为ID,将origin改为产地。
输出结果:
| ID
| date | money | product | department | 产地
---|---|---|---|---|---|---
0 | 101 | 2020-03-10 | 5.000000 | 苏打水 | 饮料 | China
1 | 102 | 2020-03-11 | 4.000000 | 可乐 | 饮料 | China
2 | 103 | 2020-03-12 | 65.000000 | 牛肉干 | 零食 | America
3 | 104 | 2020-03-13 | 20.666667 | 老干妈 | 调味品 | China
4 | 105 | 2020-03-14 | 15.000000 | 菠萝 | 水果 | Thailand
5 | 106 | 2020-03-15 | 20.000000 | 冰激凌 | 冷冻食品 | China
6 | 107 | 2020-03-16 | 35.000000 | 洗面奶 | 日用品 | America
7 | 108 | 2020-03-17 | 16.000000 | 洋葱 | 蔬菜 | China
8 | 109 | 2020-03-18 | 6.000000 | 牙膏 | 日用品 | China
9 | 110 | 2020-03-19 | 20.000000 | 薯片 | 零食 | Japan
思维导图
![思维导图--上篇](https://img-blog.csdnimg.cn/20200323164507707.png?x-oss-
process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1lQU1NKTQ==,size_16,color_FFFFFF,t_70#pic_center)
笔记中如果有错误的地方,欢迎各位小伙伴指正,感谢!
如果需要完整思维导图电子版(PDF、Xmind等)可以留言或者私信!
参考资料:
[ Pandas 文本数据方法 capitalize( ) lower( ) upper( )
[ python【all()全1为1, any()全0为0】