Pandas中DataFrame数据框的操作

探索和清理数据听起来很无聊，而且不像训练最先进的 AI 模型那么酷。但如果你想成为一名专业的数据科学家，探索性数据分析和数据预处理也是必不可少的技能。幸运的是，有许多很棒的工具可以帮助您了解数据集。著名的 Python 数据处理模块 Pandas 就是其中之一。DataFrame是一个二维的表格数据结构，是pandas库中最重要的数据结构之一。它类似于电子表格或关系型数据库中的表格，可以存储和操作具有不同类型的数据。DataFrame由行索引（也称为标签）和列索引组成，可以看作是一系列Series对象的集合，其中每个Series代表一列数据。每列可以是不同的数据类型，如整数、浮点数、字符串或日期等。DataFrame提供了一系列功能强大的操作和方法，使得数据的清洗、转换、分析和可视化变得更加方便。您可以使用DataFrame来加载、处理和分析结构化的数据，进行数据探索和预处理，以及进行统计分析和建模等任务。

一、DataFrame 的常用操作

# 通过 DataFrame 构造数据框
d = [[1.0,2.2,3,4],[1,2,3,4],[7,8,9,0],[3,5,7,9]]
print(d)
df = pd.DataFrame(d)
print(df)
# index 修改行名称，columns 修改列名称
df = pd.DataFrame(d, index=['a', 'b', 'c', 'd'], columns=['A', 'B', 'C', 'D'])
print(df)

函数	values	index	columns	dtypes	size	ndim	shape
返回值	元素	索引	列名	类型	元素个数	维度数	数据形状/行列数目

# DataFrame 数据框的常用属性
d = [[1.0,2.2,3,4],[1,2,3,4],[7,8,9,0],[3,5,7,9]]
df = pd.DataFrame(d, index=['a', 'b', 'c', 'd'], columns=['A', 'B', 'C', 'D'])
print(df)
print(df.values)
print(df.index)
print(df.shape)
print(df.dtypes)

二、选取数据框的列或行

DataFrame.loc[行索引名称,列索引名称]，如果传入的不是索引名称，那么切片操作将无法执行。
DataFrame.iloc[行索引位置,列索引位置]，如果传入的不是索引位置，那么切片操作将无法执行。
loc方法的代码灵活多变，代码的可读性更高；iloc 方法的代码简洁，但可读性不高。

使用 loc、iloc 方法实现多列切片，其原理是将多列的列名或者位置作为一个列表或者数据传入。
使用 loc、iloc 方法可以取出 DataFrame 中的任意数据。
在使用 loc 方法的时候内部传入的行索引名称如果为一个区间，则前后均为闭区间。其内部还可以传入表达式，结果会返回满足表达式的所有值。
在使用 loc 方法的时候内部传入的行索引位置或列索引位置为区间时，则为前闭后开区间。
使用 loc 方法能够实现所有单层索引切片操作。

# 按照行列顺序进行数据访问
print(df.iloc[0, 0])                 # 取出第一行第一列的数据
print(df.iloc[0:3, 0])               # 取出前三行第一列的数据
print(df.iloc[:, 0])                 # 取出第一列的数据
print(df.iloc[0, :])                 # 取出第一行的数据
print(df.iloc[1:3, 1:3])

三、删除数据框的元素

使用 drop 方法删除 Series 的元素或 DataFrame 的某一行（列）。

DataFrame.drop(labels=None, axis=0, levels=None, inplace=False)

参数名称	说明
labels	接收 string 或 array。代表删除的行或列的标签。无默认。
axis	接收0或1。代表操作的轴向。默认为0。
levels	接收 int 或者索引名。代表标签所在级别。默认为 None。
inplace	接收 boolean。代表操作是否对原数据生效。默认为 False。

d = [[1.0,2.2,3,4],[1,2,3,4],[7,8,9,0],[3,5,7,9]]
df = pd.DataFrame(d, index=['a', 'b', 'c', 'd'], columns=['A', 'B', 'C', 'D'])
print(df)
print(df.drop('D', axis=1, inplace=False))    # 删除数据框的列元素
print(df.drop(['a', 'c'], axis=0))            # 删除数据框的行元素

四、描述分析数据框数据

Pandas 库基于 Numpy 库，自然也可以用 Numpy 函数对数据框进行描述性统计，Pandas 提供了更加便利的方法来计算均值。

方法名称	说明	方法名称	说明
min	最小值	max	最大值
mean	均值	ptp	极差
median	中位数	std	标准差
var	方差	cov	协方差
sem	标准误差	mode	众数
skew	样本偏度	kurt	样本峰度
quantile	四分位数	count	非空值数目
describe	描述统计	mad	平均绝对离差

describe 方法能够一次性得出数据框所有数值型特征的非空值数目、均值、四分位数、标准差。

import pandas as pd
import numpy as np
d = [[1.0,2.2,3,4],[1,2,3,4],[7,8,9,0],[3,5,7,9]]
df = pd.DataFrame(d, index=['a', 'b', 'c', 'd'], columns=['A', 'B', 'C', 'D'])
print(df)
print(np.mean(df))              # 每一列的均值
print(np.mean(df, axis=1))      # 每一行的均值
print(df.mean(axis=1))          # 每一行的均值
print(df.std())                 # 标准差
df.describe()                   # 按列查看分布情况

五、绘制数据框Plot图

DataFrame.plot(x=None, y=None, kind='line', ax=None, subplots=False, 
                sharex=None, sharey=False, layout=None, figsize=None, 
                use_index=True, title=None, grid=None, legend=True, 
                style=None, logx=False, logy=False, loglog=False, 
                xticks=None, yticks=None, xlim=None, ylim=None, rot=None, 
                fontsize=None, colormap=None, position=0.5, table=False, yerr=None, 
                xerr=None, stacked=True/False, sort_columns=False, 
                secondary_y=False, mark_right=True, **kwds)
#参数介绍
x和y：表示标签或者位置，用来指定显示的索引，默认为None
kind：表示绘图的类型，默认为line，折线图
line：折线图
bar/barh：柱状图（条形图），纵向/横向
pie：饼状图
hist：直方图（数值频率分布）
box：箱型图
kde：密度图，主要对柱状图添加Kernel 概率密度线
area：区域图（面积图）
scatter：散点图
hexbin：蜂巢图
ax：子图，可以理解成第二坐标轴，默认None
subplots：是否对列分别作子图，默认False
sharex：共享x轴刻度、标签。如果ax为None，则默认为True，如果传入ax，则默认为False
sharey：共享y轴刻度、标签
layout：子图的行列布局，(rows, columns)
figsize：图形尺寸大小，(width, height)
use_index：用索引做x轴，默认True
title：图形的标题
grid：图形是否有网格，默认None
legend：子图的图例
style：对每列折线图设置线的类型，list or dict
logx：设置x轴刻度是否取对数，默认False
logy
loglog：同时设置x，y轴刻度是否取对数，默认False
xticks：设置x轴刻度值，序列形式（比如列表）
yticks
xlim：设置坐标轴的范围。数值，列表或元组（区间范围）
ylim
rot：轴标签（轴刻度）的显示旋转度数，默认None
fontsize : int, default None#设置轴刻度的字体大小
colormap：设置图的区域颜色
colorbar：柱子颜色
position：柱形图的对齐方式，取值范围[0,1]，默认0.5（中间对齐）
table：图下添加表，默认False。若为True，则使用DataFrame中的数据绘制表格
yerr：误差线
xerr
stacked：是否堆积，在折线图和柱状图中默认为False，在区域图中默认为True
sort_columns：对列名称进行排序，默认为False
secondary_y：设置第二个y轴（右辅助y轴），默认为False
mark_right : 当使用secondary_y轴时，在图例中自动用“(right)”标记列标签 ，默认True
x_compat：适配x轴刻度显示，默认为False。设置True可优化时间刻度的显示

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

df3 = pd.DataFrame(
    {
        "a": np.random.randn(1000) + 1,
        "b": np.random.randn(1000),
        "c": np.random.randn(1000) - 1,
    },
    columns=["a", "b", "c"],
)

# alpha设置透明度
df3.plot.hist(alpha=0.5)

# 设置坐标轴显示符号
plt.rcParams['axes.unicode_minus'] = False
# 显示图形
plt.show()

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

ix3 = pd.MultiIndex.from_arrays([['a', 'a', 'a', 'a', 'b', 'b', 'b', 'b'], ['foo', 'foo', 'bar', 'bar', 'foo', 'foo', 'bar', 'bar']], names=['letter', 'word'])
df3 = pd.DataFrame({'data1': [3, 2, 4, 3, 2, 4, 3, 2], 'data2': [6, 5, 7, 5, 4, 5, 6, 5]}, index=ix3)
# 分组
gp3 = df3.groupby(level=('letter', 'word'))
means = gp3.mean()
errors = gp3.std()
means.plot.bar(yerr=errors,rot=0)
plt.show()