pandas数据分析常用函数总结

1. 导入模块
1. 创建数据集并读取
- - - 2.1 创建数据集
- 2.2 数据写入和读取
1. 数据查看
- - - 3.1 数据集基础信息查询
- 3.2 数据集整体情况查询
1. 数据清洗
- - - 4.1 查看异常值
- 4.2 空值处理
- - - 4.2.1 空值检测
  - 4.2.2 空值处理
- 4.3 空格处理
- 4.4 大小写转换
- 4.5 数据替换
- 4.6 数据删除
- 4.7 数据格式转换
- 4.8 更改列名称
思维导图

基础知识在数据分析中就像是九阳神功，熟练的掌握，加以运用，就可以练就深厚的内力，成为绝顶高手自然不在话下！
.
为了更好地学习数据分析，我对于数据分析中pandas这一模块里面常用的函数进行了总结。
整篇总结，在详尽且通俗易懂的基础上，我力求使其有很强的条理性和逻辑性，所以制作了思维导图，对于每一个值得深究的函数用法，我也会附上官方链接，方便大家继续深入学习。
.
文章中的所有代码都会有讲解和注释，绝大部分也都会配有运行结果，酱紫的话，整篇总结篇幅量自然不小，所以我分成了上下两篇，这里是上篇。

1. 导入模块

    import pandas as pd      # 这里用到的是pandas和numpy两个模块
    import numpy as np

2. 创建数据集并读取

2.1 创建数据集

我构造了一个超市购物的数据集，该数据集属性包括：订单ID号（id）、订单日期（date）、消费金额（money）、订单商品（product）、商品类别（department）、商品产地（origin）。

    # 列表和字典均可传入DataFrame，我这里用的是字典传入：
    data=pd.DataFrame({
        "id":np.arange(101,111),                                # np.arange会自动输出范围内的数据，这里会输出101~110的id号。
        "date":pd.date_range(start="20200310",periods=10),      # 输出日期数据，设置周期为10，注意这里的周期数应该与数据条数相等。
        "money":[5,4,65,-10,15,20,35,16,6,20],                  # 设置一个-10的坑，下面会填（好惨，自己给自己挖坑，幸亏不准备跳~）
        "product":['苏打水','可乐','牛肉干','老干妈','菠萝','冰激凌','洗面奶','洋葱','牙膏','薯片'],
        "department":['饮料','饮料','零食','调味品','水果',np.nan,'日用品','蔬菜','日用品','零食'],                # 再设置一个空值的坑
        "origin":['China',' China','America','China','Thailand','China','america','China','China','Japan']     # 再再设置一个america的坑
    })
    data              # 输出查看数据集

输出结果：

| id | date | money | product | department | origin
---|---|---|---|---|---|---
0 | 101 | 2020-03-10 | 5 | 苏打水 | 饮料 | China
1 | 102 | 2020-03-11 | 4 | 可乐 | 饮料 | China
2 | 103 | 2020-03-12 | 65 | 牛肉干 | 零食 | America
3 | 104 | 2020-03-13 | -10 | 老干妈 | 调味品 | China
4 | 105 | 2020-03-14 | 15 | 菠萝 | 水果 | Thailand
5 | 106 | 2020-03-15 | 20 | 冰激凌 | NaN | China
6 | 107 | 2020-03-16 | 35 | 洗面奶 | 日用品 | america
7 | 108 | 2020-03-17 | 16 | 洋葱 | 蔬菜 | China
8 | 109 | 2020-03-18 | 6 | 牙膏 | 日用品 | China
9 | 110 | 2020-03-19 | 20 | 薯片 | 零食 | Japan

2.2 数据写入和读取

    data.to_csv("shopping.csv",index=False)       # index=False表示不加索引，否则会多一行索引

    data=pd.read_csv("shopping.csv")

3. 数据查看

3.1 数据集基础信息查询

    data.shape            # 行数列数
    data.dtypes           # 所有列的数据类型
    data['id'].dtype      # 某一列的数据类型
    data.ndim             # 数据维度
    data.index            # 行索引
    data.columns          # 列索引
    data.values           # 对象值

3.2 数据集整体情况查询

    data.head()    # 显示头部几行（默认5行）
    data.tail()    # 显示末尾几行（默认5行）
    data.info()    # 数据集相关信息概览：索引情况、列数据类型、非空值、内存使用情况
    data.describe()    # 快速综合统计结果

4. 数据清洗

4.1 查看异常值

当然，现在这个数据集很小，可以直观地发现异常值，但是在数据集很大的时候，我用下面这种方式查看数据集中是否存在异常值，如果有其他更好的方法，欢迎传授给我。

    for i in data:
        print(i+": "+str(data[i].unique()))      # 查看某一列的唯一值

输出结果：我们发现，该数据集中money存在一个负值，department存在一个空值以及origin存在大小写问题。

id	[101 102 103 104 105 106 107 108 109 110]
date	[‘2020-03-10’ ‘2020-03-11’ ‘2020-03-12’ ‘2020-03-13’ ‘2020-03-14’

‘2020-03-15’ ‘2020-03-16’ ‘2020-03-17’ ‘2020-03-18’ ‘2020-03-19’]
money | [ 5 4 65 -10 15 20 35 16 6]
product | [‘苏打水’ ‘可乐’ ‘牛肉干’ ‘老干妈’ ‘菠萝’ ‘冰激凌’ ‘洗面奶’ ‘洋葱’ ‘牙膏’ ‘薯片’]
department | [‘饮料’ ‘零食’ ‘调味品’ ‘水果’ nan ‘日用品’ ‘蔬菜’]
origin | [‘China’ ’ China’ ‘America’ ‘Thailand’ ‘america’ ‘Japan’]

4.2 空值处理

4.2.1 空值检测

    data.isnull()                # 查看整个数据集的空值
    data['department'].isnull()  # 查看某一列的空值

输出结果：

0	False
1	False
2	False
3	False
4	False
5	`True`
6	False
7	False
8	False
9	False

将空值判断进行汇总，更加直观，ascending默认为True，升序。

    data.isnull().sum().sort_values(ascending=False)

输出结果：

department	1
origin	0
product	0
money	0
date	0
id	0

更多关于pandas.DataFrame.sort_values的用法，戳下面官方链接：https://pandas.pydata.org/pandas-
docs/stable/reference/api/pandas.DataFrame.sort_values.html

4.2.2 空值处理

pandas.DataFrame.fillna（value = None，method = None，inplace = False）

value：用于填充的值，可以是具体值、字典和数组，不能是列表；

method：填充方法，有 ffill 和 bfill 等；

inplace默认无False，如果为True，则将修改此对象上的所有其他视图。

更多关于pandas.DataFrame.fillna的用法，戳下面官方链接：https://pandas.pydata.org/pandas-
docs/stable/reference/api/pandas.DataFrame.fillna.html

    data['department'].fillna(method="ffill")    # 填充上一个值，即填充“水果”

输出结果：

| 处理之前 | | 处理之后
---|---|---|---
0 | 饮料 | 0 | 饮料
1 | 饮料 | 1 | 饮料
2 | 零食 | 2 | 零食
3 | 调味品 | 3 | 调味品
4 | 水果 | 4 | 水果
5 | NaN | 5 | 水果
6 | 日用品 | 6 | 日用品
7 | 蔬菜 | 7 | 蔬菜
8 | 日用品 | 8 | 日用品
9 | 零食 | 9 | 零食

    data['department'].fillna(method="bfill")    # 填充下一个值，即填充“日用品”

    data['department'].fillna(value="冷冻食品",inplace=True)    # 替换为具体值，并且在原对象值上进行修改

输出结果：

| 处理之前 | | 处理之后
---|---|---|---
0 | 饮料 | 0 | 饮料
1 | 饮料 | 1 | 饮料
2 | 零食 | 2 | 零食
3 | 调味品 | 3 | 调味品
4 | 水果 | 4 | 水果
5 | NaN | 5 | 冷冻食品
6 | 日用品 | 6 | 日用品
7 | 蔬菜 | 7 | 蔬菜
8 | 日用品 | 8 | 日用品
9 | 零食 | 9 | 零食

4.3 空格处理

只针对object类型数据

    for i in data:                                    # 遍历数据集中的每一列
        if pd.api.types.is_object_dtype(data[i]):     # 如果是object类型的数据，则执行下方代码
            data[i]=data[i].str.strip()               # 去除空格
    data['origin'].unique()                           # 验证一下

输出结果： array([‘China’, ‘America’, ‘Thailand’, ‘america’, ‘Japan’],
dtype=object)

4.4 大小写转换

    data['origin'].str.title()         # 将首字母大写
    data['origin'].str.capitalize()    # 将首字母大写
    data['origin'].str.upper()         # 全部大写
    data['origin'].str.lower()         # 全部小写

4.5 数据替换

    data['origin'].replace("america","America",inplace=True)    # 将第一个值替换为第二个值，inplace默认为False
    data['origin']

输出结果：

| 处理之前 | | 处理之后
---|---|---|---
0 | China | 0 | China
1 | China | 1 | China
2 | America | 2 | America
3 | China | 3 | China
4 | Thailand | 4 | Thailand
5 | China | 5 | China
6 | america | 6 | America
7 | China | 7 | China
8 | China | 8 | China
9 | Japan | 9 | Japan

    data['money'].replace(-10,np.nan,inplace=True)                    # 将负值替换为空值
    data['money'].replace(np.nan,data['money'].mean(),inplace=True)   # 将空值替换为均值
    data['money']

输出结果：

| 处理之前 | | 处理之后
---|---|---|---
0 | 5 | 0 | 5.000000
1 | 4 | 1 | 4.000000
2 | 65 | 2 | 65.000000
3 | -10 | 3 | 20.666667
4 | 15 | 4 | 15.000000
5 | 20 | 5 | 20.000000
6 | 35 | 6 | 35.000000
7 | 16 | 7 | 16.000000
8 | 6 | 8 | 6.000000
9 | 20 | 9 | 20.000000

4.6 数据删除

方法一

    data1 = data[data.origin != 'American'] #去掉origin为American的行
    data1
    data2=data[(data != 'Japan').all(1)]    #去掉所有包含Japan的行    不等于Japan的行为真，则返回
    data2

方法二

    data['origin'].drop_duplicates()      # 默认删除后面出现的重复值，即保留第一次出现的重复值

输出结果：

0	China
2	America
4	Thailand
9	Japan

    data['origin'].drop_duplicates(keep='last')   # 删除前面出现的重复值，即保留最后一次出现的重复值

输出结果：

4	Thailand
6	America
8	China
9	Japan

更多关于pandas.DataFrame.drop_duplicates的用法，戳下面官方链接：https://pandas.pydata.org/pandas-
docs/stable/reference/api/pandas.DataFrame.drop_duplicates.html#pandas.DataFrame.drop_duplicates

4.7 数据格式转换

    data['id'].astype('str')    # 将id列的类型转换为字符串类型。

常见的数据类型对照
![在这里插入图片描述](https://img-blog.csdnimg.cn/20200323162114209.jpg?x-oss-
process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1lQU1NKTQ==,size_16,color_FFFFFF,t_70#pic_center)

4.8 更改列名称

    data.rename(columns={'id':'ID', 'origin':'产地'})     # 将id列改为ID，将origin改为产地。

输出结果：

| ID | date | money | product | department | 产地
---|---|---|---|---|---|---
0 | 101 | 2020-03-10 | 5.000000 | 苏打水 | 饮料 | China
1 | 102 | 2020-03-11 | 4.000000 | 可乐 | 饮料 | China
2 | 103 | 2020-03-12 | 65.000000 | 牛肉干 | 零食 | America
3 | 104 | 2020-03-13 | 20.666667 | 老干妈 | 调味品 | China
4 | 105 | 2020-03-14 | 15.000000 | 菠萝 | 水果 | Thailand
5 | 106 | 2020-03-15 | 20.000000 | 冰激凌 | 冷冻食品 | China
6 | 107 | 2020-03-16 | 35.000000 | 洗面奶 | 日用品 | America
7 | 108 | 2020-03-17 | 16.000000 | 洋葱 | 蔬菜 | China
8 | 109 | 2020-03-18 | 6.000000 | 牙膏 | 日用品 | China
9 | 110 | 2020-03-19 | 20.000000 | 薯片 | 零食 | Japan

思维导图

![思维导图--上篇](https://img-blog.csdnimg.cn/20200323164507707.png?x-oss-
process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1lQU1NKTQ==,size_16,color_FFFFFF,t_70#pic_center)
笔记中如果有错误的地方，欢迎各位小伙伴指正，感谢！

如果需要完整思维导图电子版（PDF、Xmind等）可以留言或者私信！

参考资料：

pandas官网

pandas用法总结

[ Pandas 文本数据方法 capitalize( ) lower( ) upper( )

](https://blog.csdn.net/claroja/article/details/64943601)

[ python【all()全1为1, any()全0为0】

](https://www.jianshu.com/p/a184bddc6fe6)

pandas 数据类型转换

在这里插入图片描述

posted @ 2021-06-30 14:27 老酱阅读(330) 评论(0) 编辑收藏举报

会员力量，点亮园子希望

刷新页面返回顶部

老酱

pandas数据分析常用函数总结