Pandas方法

 

1创建数据对象

 

Pandas最常用的数据对象是数据框（DataFrame）和Series。数据框与R中的DataFrame格式类似，都是一个二维数组。Series则是一个一维数组，类似于列表。数据框是Pandas中最常用的数据组织方式和对象。有关更多数据文件的读取将在第三章介绍，本节介绍从对象和文件创建数据框的方式，具体如表1所示。

表1 Pandas创建数据对象

方法	用途	示例	示例说明
read_table read_csv read_excel	从文件创建数据框	In: import  pandas as pd    In: data1  = pd.read_table('table_data.txt',sep=';')	读取table_data.txt文件，数据分隔符是;
DataFrame.from_dict DataFrame.from_items DataFrame.from_records	从其他对象例如Series、Numpy数组、字典创建数据框	In: data_dict  = {'col1': [2, 1, 0], 'col2': ['a', 'b', 'a'], 'col3': [True, True, False]} In: data2  = pd.DataFrame.from_dict(data_dict)	基于字典创建数据框，列名为字典的3个key，每一列的值为key对应的value值

2 查看数据信息

 

查看信息常用方法包括对总体概况、描述性统计信息、数据类型和数据样本的查看，具体如表2所示：

表2 Pandas常用查看数据信息方法汇总

方法	用途	示例	示例说明
info	查看数据框的索引和列的类型、费控设置和内存用量信息。	In: print(data2.info()) Out:  <class 'pandas.core.frame.DataFrame'> RangeIndex:  3 entries, 0 to 2 Data  columns (total 3 columns): col1    3 non-null int64 col2    3 non-null object col3    3 non-null bool dtypes:  bool(1), int64(1), object(1) memory  usage: 131.0+ bytes None	返回对象的所有信息
describe	显示描述性统计数据，包括集中趋势、分散趋势、形状等。	In: print(data2.describe()) Out:    col1 count   3.0 mean    1.0 std     1.0 min     0.0 25%     0.5 50%     1.0 75%     1.5 max     2.0	默认查看数值型列，使用include=  'all'查看所有类型数据
dtype	查看数据框每一列的数据类型	In: print(data2.dtypes) Out:  col1     int64 col2    object col3      bool dtype:  objectt	结果是Series类型
head	查看前N条结果	In: print(data2.head(2)) Out:   col1 col2   col3 0     2     a  True 1     1     b  True	从第一行开始取前2行
tail	查看后N条结果	In: print(data2.tail(2)) Out:   col1 col2    col3 1     1     b   True 2     0     a  False	从最后一行开始取后2行
index	查看索引	In:  print(data2.index) Out: RangeIndex(start=0,  stop=3, step=1)	结果是一个类列表的对象，可用列表方法操作对象
columns	查看列名	In:  print(data2.columns) Out: Index(['col1',  'col2', 'col3'], dtype='object')
shape	查看形状，记录有多少行多少列	In: print(data2.shape) Out:  (3,3)	形状为元组类型
isnull	查看每个值是否为空值	In:  print(data2.isnull()) Out:    col1    col2   col3 0  False   False  False 1  False   False  False 2  False   False  False	数据中没有空值，因此都是False
unique	查看特定列的唯一值	In:  print(data2['col2'].unique()) Out:  ['a' 'b']	查看col2列的唯一值

注意 在上述查看方法中，除了info方法外，其他方法返回的对象都可以直接赋值给变量，然后基于变量对象做二次处理。例如可以从dtype的返回值中仅获取类型为bool的列。

3 数据切片和切块

 

数据切片和切块是使用不同的列或索引切分数据，实现从数据中获取特定子集的方式。常见的数据切片和切换的方式如表3所示：

表3 Pandas常用数据切分方法

方法	用途	示例	示例说明
[['列名1', '列名2',…]]	按列名选择单列或多列	In: print(data2[['col1','col2']]) Out:    col1 col2 0     2     a 1     1     b 2     0     a	选择data2的col1和col3两列
[m:n]	选择行索引在m到n间的记录	In:  print(data2[0:2]) Out:       col1 col2  col3 0     2     a  True 1     1     b  True	选取行索引在[0:2)中间的记录，不包含2
iloc[m:n]		In: print(data2.iloc[0:2]) Out:       col1 col2  col3 0     2     a  True 1     1     b  True
iloc[m:n,j:k]	选择行索引在m到n且列索引在j到k间的记录	In:  print(data2.iloc[0:2,0:1]) Out:          col1 0     2 1     1	选取行索引在[0:2)列索引在[0:1)中间的记录，行索引不包含2，列索引不包含1
loc[m:n,[  '列名1', '列名2',…]]	选择行索引在m到n间且列名为列名1、列名2的记录	In:  print(data2.loc[0:2,['col1','col2']]) Out:    col1 col2 0     2     a 1     1     b 2     0     a	选取行索引在[0:2)之间，列名为'col1'和'col2'的记录，行索引不包含2

提示 如果选择特定索引的数据，直接写索引值即可。例如data2.loc[2,['col1','col2']]为选择第三行且列名为'col1'和'col2'的记录。

4 数据筛选和过滤

 

数据筛选和过滤是基于条件的数据选择，本章2.6.3提到的比较运算符都能用于数据的筛选和选择条件，不同的条件间的逻辑不能直接用and、or来实现且、或的逻辑，而是要用&和|实现。常用方法如表4所示：

表4 Pandas常用数据筛选和过滤方法

方法	用途	示例	示例说明
单列单条件	以单独列为基础选择符合条件的数据	In:  print(data2[data2['col3']==True]) Out:    col1 col2   col3 0     2     a  True 1     1    b   True	选择col3中值为True的所有记录
多列单条件	以所有的列为基础选择符合条件的数据	In:  print(data2[data2=='a']) Out:    col1 col2   col3 0   NaN     a   NaN 1   NaN   NaN   NaN 2   NaN     a   NaN	选择所有值为a的数据
使用“且”进行选择	多个筛选条件，且多个条件的逻辑为“且”，用&表示	In:  print(data2[(data2['col2']=='a') & (data2['col3']==True)]) Out:    col1 col2   col3 0     2     a  True	选择col2中值为a且col3值为True的记录
使用“或”进行选择	多个筛选条件，且多个条件的逻辑为“或”，用|表示	In:  print(data2[(data2['col2']=='a') | (data2['col3']==True)]) Out:      col1 col2   col3 0     2     a   True 1     1     b   True 2     0     a  False	选择col2中值为a或col3值为True的记录
使用isin查找范围	基于特定值的范围的数据查找	In:  print(data2[data2['col1'].isin([1,2])]) Out:    col1 col2   col3 0     2     a  True 1     1     b  True	筛选col1列值为1或2的记录
query	按照类似sql的规则筛选数据	In:  print(data2.query('col2=="b"')) Out:    col1 col2   col3 1     1     b     1	筛选数据中col2值为b的记录

5 数据预处理操作

 

Pandas的数据预处理基于整个数据框或Series实现，整个预处理工作包含众多项目，本节列出通过Pandas实现的场景功能。本节功能具体如表5所示：

表5 Pandas常用预处理方法

方法	用途	示例	示例说明
T	转置数据框，行和列转换	In:  print(data2.T) Out:      0   1  2 col1  2   1  0 col2  a   b  a	行索引、列名以及数据相互调换
sort_values	按值排序，默认为正序，可通过ascending=False指定倒序排序	In: print(data2.sort_values(['col1'])) Out:   col1 col2 2     0     a 1     1     b 0     2     a	按colo1列排序
sort_index	按索引排序，默认为正序，可通过ascending=False指定倒序排序	In:  print( data2.sort_index(ascending=False)) Out:    col1 col2   col3 2     0     a     0 1     1     b     1 0     2     a     1	按索引倒序排序
dropna	去掉缺失值，可通过axis设置为0或  index、1或columns丢弃带有缺失值的行或列	In:  print(data2.dropna()) Out:    col1 col2   col3 0     2     a   True 1     1     b   True 2     0     a  False	直接丢弃带有缺失值的行
fillna	填充缺失值，可设置为固定值以及不同的填充方法	In:  print(data2.fillna(method='bfill')) Out:    col1 col2   col3 0     2     a   True 1     1     b   True 2     0     a  False	使用下一个有效记录填充缺失值
astype	转换特定列的类型	In:  data2['col3'] = data2['col3'].astype(int) In:  print(data2.dtypes) Out:  col1     int64 col2    object col3     int32 dtype:  object	将col3转换为int型
rename	更新列名	In:  print(data2.rename(columns=  {'col1':'A','col2':'B','col3':'C'})) Out:    A   B  C 0  2   a  1 1  1   b  1 2  0   a  0	将data2的列名更新为A、B、C
drop_duplicates	去重重复项，通过指定列设置去重的参照	In:  print(data2.drop_duplicates(['col3'])) Out:    col1 col2   col3 0     2     a     1 2     0     a     0	按col3列去重重复记录
replace	查找替换	In:  print(data2.replace('a','A')) Out:    col1 col2   col3 0     2     A     1 1     1     b     1 2     0     A     0	将小写字符a替换为大些字母A
sample	抽样	In:  print(data2.sample(n=2)) Out:    col1 col2   col3 0     2     a     1 1     1     b     1	从data2中随机抽取2条数据

6 数据合并和匹配

 

数据合并和匹配是将多个数据框做合并或匹配操作。具体实现如表6所示：

表6 Pandas常用数据合并和匹配方法

方法	用途	示例	示例说明
merge	关联并匹配两个数据框	In:  print(data2.merge(data1,on='col1',how='inner')) Out:    col1 col2_x  col3_x   col2_y  col3_y  col4 0    1      b      1      2      3   4	关联data1和data2，主键分别为a列和col1列，内关联方式
concat	合并两个数据框，可按行或列合并	In: print(pd.concat((data1,data2),axis=1)) Out:  col1 col2   col3  col4  col1 col2 col3 0   1    2   3   4      2    a     1 1   6    7   8   9      1    b     1 2  11   12  13  14      0    a     0	按列合并data1和data2，可通过指定axis=0按行合并
append	按行追加数据框	In:  print(data1.append(data2)) Out:   col1 col2   col3  col4 0     1     2     3   4.0 1     6     7     8   9.0 2    11    12    13  14.0 0     2     a     1   NaN 1     1     b     1   NaN 2     0     a     0   NaN	将data2追加到data，等价于pd.concat((data1,data2),  axis=0)
join	关联并匹配两个数据框	In:  print(data1.join(data2,lsuffix='_d1', rsuffix='_d2')) Out:  col1_d1   col2_d1  col3_d1  col4   col1_d2 col2_d2  col3_d2 0   1    2   3   4     2  a  1 1   6    7   8   9     1  b  1 2  11   12  13  14     0  a  0	将data1和data2关联，设置关联后的列名前缀分别为d1和d2

7 数据分类汇总

 

数据分类汇与Excel中的概念和功能类似。具体实现如表7所示：

表7 Pandas常用数据分类汇总方法

方法	用途	示例	示例说明
groupby	按指定的列做分类汇总	In:  print(data2.groupby(['col2'])['col1'].sum()) Out:  col2 a    2 b    1 Name:  col1, dtype: int64	以col2列为维度，以col1列为指标求和
pivot_table	建立数据透视表视图	In: print(pd.pivot_table(data2,index=['col2'])) Out:       col1   col3 col2 a        1    0.5 b        1    1.0 Name:  col1, dtype: int64	以col2列为索引建立数据透视表，默认计算方式为求均值

8 高级函数使用

 

Pandas能直接实现数据框级别高级函数的应用，而不用写循环遍历每条记录甚至每个值后做计算，这种方式能极大提升计算效率，具体如表8所示：

表8 Pandas常用高级函数

方法	用途	示例	示例说明
map	将一个函数或匿名函数应用到Series或数据框的特定列	In:  print(data2['col3'].map(lambda x:x*2)) Out:  0    2 1    2 2    0 Name:  col3, dtype: int64	对data2的col3的每个值乘2
apply	将一个函数或匿名函数应用到Series或数据框	In:  print(data2.apply(pd.np.cumsum)) Out:    col1 col2   col3 0     2    a      1 1     3    ab     2 2     3   aba     2	将data2的所有列按行（默认）做累加
agg	一次性对多个列做聚合操作	In:  import numpy as np In:  print(data2.groupby(['col2']).agg(  {'col1':np.sum,'col3':np.mean})) Out:    col1   col3 col2 a     2    0.5 b     1    1.0	在data2中以col2为维度，对col1求和，col3求均值