十分钟搞定pandas内容
参考:http://pandas.pydata.org/pandas-docs/stable/whatsnew.html
https://www.cnblogs.com/chaosimple/p/4153083.html
十分钟搞定pandas
#需要导入以下所需要的包
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
一、创建对象
1、可以通过传递一个list对象来创建一个Series, pandas会默认创建整型索引:
#创建一个序列
s = pd.Series([1,3,5,np.nan,6,8])
s
0 1.0
1 3.0
2 5.0
3 NaN
4 6.0
5 8.0
dtype: float64
2、通过传递一个numpy array,时间索引以及列标签来创建一个数据帧DataFrame:
#创建一个时间范围,周期为6
dates = pd.date_range('20130101',periods=6)
dates
DatetimeIndex(['2013-01-01', '2013-01-02', '2013-01-03', '2013-01-04',
'2013-01-05', '2013-01-06'],
dtype='datetime64[ns]', freq='D')
#创建一个6行5列的数据帧,行名称为日期,列属性名称为ABCDE,内容由randn函数创建,
#若不存在 index=dates , 则行名用1,2,3等数字表示;若不存在 columns=list('ABCDE'),则列属性名称也用1,2,3等数字表示
df = pd.DataFrame(np.random.randn(6,5),index=dates,columns=list('ABCDE'))
df
A | B | C | D | E | |
---|---|---|---|---|---|
2013-01-01 | -0.964738 | -0.613643 | 0.111717 | -0.355337 | -0.395985 |
2013-01-02 | 0.898280 | -1.447527 | -1.390847 | 0.344747 | -0.476424 |
2013-01-03 | 0.199546 | 1.277674 | -0.634270 | 0.014981 | -0.028560 |
2013-01-04 | -0.362915 | -1.069098 | -0.567669 | -0.234415 | 0.585418 |
2013-01-05 | 0.761135 | -2.116771 | 0.745177 | 0.851333 | -0.624389 |
2013-01-06 | 0.052822 | -0.689503 | -0.401462 | 1.050330 | -1.098080 |
3、使用传递的可转换序列的字典对象创建数据帧DataFrame:
#创建数据帧,每个字典的关键字表示列属性,键值对应列属性的value
df2 = pd.DataFrame({ 'A' : 1.,
'B' : pd.Timestamp('20130102'),
'C' : pd.Series(1,index=list(range(5)),dtype='float32'),
'D' : np.array([3] * 5,dtype='int32'),
'E' : pd.Categorical(["test","train","test","train","sss"]),
'F' : 'foo' })
df2
A | B | C | D | E | F | |
---|---|---|---|---|---|---|
0 | 1.0 | 2013-01-02 | 1.0 | 3 | test | foo |
1 | 1.0 | 2013-01-02 | 1.0 | 3 | train | foo |
2 | 1.0 | 2013-01-02 | 1.0 | 3 | test | foo |
3 | 1.0 | 2013-01-02 | 1.0 | 3 | train | foo |
4 | 1.0 | 2013-01-02 | 1.0 | 3 | sss | foo |
#查看数据帧中各类数据类型,只能用于查看字典形成的数据帧,用randn形成的数据帧不能使用该命令,否则出错
df2.dtypes
A float64
B datetime64[ns]
C float32
D int32
E category
F object
dtype: object
#df2. <TAB>
如你所见, 列 A, B, C, 和 D 也是自动完成标签. E 也是可用的; 为了简便起见,后面的属性显示被截断.
二、查看数据
1、查看帧顶部和底部行
#df.head(5)表示查看数据帧df的头五行,默认为5,也可看头3行
df.head()
A | B | C | D | E | |
---|---|---|---|---|---|
2013-01-01 | -0.964738 | -0.613643 | 0.111717 | -0.355337 | -0.395985 |
2013-01-02 | 0.898280 | -1.447527 | -1.390847 | 0.344747 | -0.476424 |
2013-01-03 | 0.199546 | 1.277674 | -0.634270 | 0.014981 | -0.028560 |
2013-01-04 | -0.362915 | -1.069098 | -0.567669 | -0.234415 | 0.585418 |
2013-01-05 | 0.761135 | -2.116771 | 0.745177 | 0.851333 | -0.624389 |
#df.tail(3)表示查看数据帧df的尾3行,默认为5
df.tail(3)
A | B | C | D | E | |
---|---|---|---|---|---|
2013-01-04 | -0.362915 | -1.069098 | -0.567669 | -0.234415 | 0.585418 |
2013-01-05 | 0.761135 | -2.116771 | 0.745177 | 0.851333 | -0.624389 |
2013-01-06 | 0.052822 | -0.689503 | -0.401462 | 1.050330 | -1.098080 |
2、显示数据帧的索引,列和底层numpy数据
#取出数据帧df的索引项,即行名称
df.index
DatetimeIndex(['2013-01-01', '2013-01-02', '2013-01-03', '2013-01-04',
'2013-01-05', '2013-01-06'],
dtype='datetime64[ns]', freq='D')
#取出数据帧df的属性列名称
df.columns
Index(['A', 'B', 'C', 'D', 'E'], dtype='object')
#取出数据帧df中的内容,这一点很重要,能够将数据帧的行索引项名称和列属性项名称去掉
df.values
array([[-0.96473798, -0.61364267, 0.11171683, -0.35533705, -0.39598527],
[ 0.8982796 , -1.44752742, -1.39084675, 0.3447475 , -0.47642425],
[ 0.19954556, 1.27767394, -0.63427023, 0.01498146, -0.0285603 ],
[-0.36291476, -1.06909798, -0.56766898, -0.23441501, 0.58541824],
[ 0.7611348 , -2.11677119, 0.74517694, 0.85133303, -0.62438946],
[ 0.05282224, -0.68950339, -0.4014616 , 1.05032997, -1.09808038]])
3、描述显示数据快速统计摘要
#描述数据帧df中的内容的一些统计项,包括数目、均值、标准差、最小最大值及其中间值
df.describe()
type(df)
pandas.core.frame.DataFrame
4、转置数据
#将行列进行转化,包括索引项、列属性项以及其中的内容
df.T
2013-01-01 00:00:00 | 2013-01-02 00:00:00 | 2013-01-03 00:00:00 | 2013-01-04 00:00:00 | 2013-01-05 00:00:00 | 2013-01-06 00:00:00 | |
---|---|---|---|---|---|---|
A | -0.964738 | 0.898280 | 0.199546 | -0.362915 | 0.761135 | 0.052822 |
B | -0.613643 | -1.447527 | 1.277674 | -1.069098 | -2.116771 | -0.689503 |
C | 0.111717 | -1.390847 | -0.634270 | -0.567669 | 0.745177 | -0.401462 |
D | -0.355337 | 0.344747 | 0.014981 | -0.234415 | 0.851333 | 1.050330 |
E | -0.395985 | -0.476424 | -0.028560 | 0.585418 | -0.624389 | -1.098080 |
5、按轴排序
#若axis=1,则行索引项不变,列属性项进行竖轴转换,内容不改变;若axis=0,则列属性项不变,行索引项进行横轴转换,内容不改变;默认为axis=0,即横轴转换
# ascending=Flase 必须存在,否则数据帧不作任何改变
df.sort_index(axis=1, ascending=False)
E | D | C | B | A | |
---|---|---|---|---|---|
2013-01-01 | -0.395985 | -0.355337 | 0.111717 | -0.613643 | -0.964738 |
2013-01-02 | -0.476424 | 0.344747 | -1.390847 | -1.447527 | 0.898280 |
2013-01-03 | -0.028560 | 0.014981 | -0.634270 | 1.277674 | 0.199546 |
2013-01-04 | 0.585418 | -0.234415 | -0.567669 | -1.069098 | -0.362915 |
2013-01-05 | -0.624389 | 0.851333 | 0.745177 | -2.116771 | 0.761135 |
2013-01-06 | -1.098080 | 1.050330 | -0.401462 | -0.689503 | 0.052822 |
6、按值排序
#df.sort_values(columns='B')
df.sort_values(by='B') #一开始是columns指定列排序,现在改为了by进行排序
A | B | C | D | E | |
---|---|---|---|---|---|
2013-01-05 | 0.761135 | -2.116771 | 0.745177 | 0.851333 | -0.624389 |
2013-01-02 | 0.898280 | -1.447527 | -1.390847 | 0.344747 | -0.476424 |
2013-01-04 | -0.362915 | -1.069098 | -0.567669 | -0.234415 | 0.585418 |
2013-01-06 | 0.052822 | -0.689503 | -0.401462 | 1.050330 | -1.098080 |
2013-01-01 | -0.964738 | -0.613643 | 0.111717 | -0.355337 | -0.395985 |
2013-01-03 | 0.199546 | 1.277674 | -0.634270 | 0.014981 | -0.028560 |
三、选择器
注释: 标准Python / Numpy表达式可以完成这些互动工作, 但在生产代码中, 我们推荐使用优化的pandas数据访问方法, .at, .iat, .loc, .iloc 和 .ix.
1、读取
(1)选择单列,这会产生一个序列,等价与df.A
df['A']
2013-01-01 -0.964738
2013-01-02 0.898280
2013-01-03 0.199546
2013-01-04 -0.362915
2013-01-05 0.761135
2013-01-06 0.052822
Freq: D, Name: A, dtype: float64
(2)使用 [] 选择行切片,若想进行列切片,可以先将数据帧进行转置,然后切片,最后转换回来
#只能进行行切片,不能做列切片;
df[0:3]
A | B | C | D | E | |
---|---|---|---|---|---|
2013-01-01 | -0.964738 | -0.613643 | 0.111717 | -0.355337 | -0.395985 |
2013-01-02 | 0.898280 | -1.447527 | -1.390847 | 0.344747 | -0.476424 |
2013-01-03 | 0.199546 | 1.277674 | -0.634270 | 0.014981 | -0.028560 |
df['20130102':'20130104']
A | B | C | D | E | |
---|---|---|---|---|---|
2013-01-02 | 0.898280 | -1.447527 | -1.390847 | 0.344747 | -0.476424 |
2013-01-03 | 0.199546 | 1.277674 | -0.634270 | 0.014981 | -0.028560 |
2013-01-04 | -0.362915 | -1.069098 | -0.567669 | -0.234415 | 0.585418 |
2、使用标签选择
(1)使用标签获取横截面
#获取数据帧的某一行,此处若写成 df.loc[dates[0]], 则出现错误
df.loc[dates[0]]
A -0.964738
B -0.613643
C 0.111717
D -0.355337
E -0.395985
Name: 2013-01-01 00:00:00, dtype: float64
(2)使用标签选择多轴
#取出两个列属性的所有行
df.loc[:,['A','B']]
A | B | |
---|---|---|
2013-01-01 | -0.964738 | -0.613643 |
2013-01-02 | 0.898280 | -1.447527 |
2013-01-03 | 0.199546 | 1.277674 |
2013-01-04 | -0.362915 | -1.069098 |
2013-01-05 | 0.761135 | -2.116771 |
2013-01-06 | 0.052822 | -0.689503 |
(3)显示标签切片,包含两个端点
#取出数据帧中的3行2列
df.loc['20130102':'20130104',['A','B']]
A | B | |
---|---|---|
2013-01-02 | 0.898280 | -1.447527 |
2013-01-03 | 0.199546 | 1.277674 |
2013-01-04 | -0.362915 | -1.069098 |
(4)降低返回对象维度
#通过选取某一行,提取出该行的列属性值,从而达到降低维度的作用
df.loc['20130102',['A','B']]
A 0.898280
B -1.447527
Name: 2013-01-02 00:00:00, dtype: float64
#取出数据帧的行列名称---标签,取其中的内容
df.loc['20130102',['A','B']].values
array([ 0.8982796 , -1.44752742])
(5)获取标量值
#获取某一行某一列的值,行列用对应标签取出
df.loc[dates[0],'A']
-0.9647379819614053
(6)快速访问并获取标量数据(同上面的方法一样)
df.at[dates[0],'A']
-0.9647379819614053
3、按位置选择 —— 对应按标签选择
(1)传递整数选择位置
#这里只需要指明第3行,即可取出;对应前面的df.loc[date[0]],需要指明行的属性的第0行
df.iloc[3]
A -0.362915
B -1.069098
C -0.567669
D -0.234415
E 0.585418
Name: 2013-01-04 00:00:00, dtype: float64
(2)使用整数片段,效果类似 numpy / python
df.iloc[3:5,0:2]
A | B | |
---|---|---|
2013-01-04 | -0.362915 | -1.069098 |
2013-01-05 | 0.761135 | -2.116771 |
(3)使用整数偏移定位列表,效果类似于 numpy / python 样式
超级重要,正好解决燃眉之急
#直接就可以取出自己想要取出的某一行某一列,相当有用
df.iloc[[1,2,4],[0,2]]
A | C | |
---|---|---|
2013-01-02 | 0.898280 | -1.390847 |
2013-01-03 | 0.199546 | -0.634270 |
2013-01-05 | 0.761135 | 0.745177 |
(4)显示行切片——爆裂所有列
df.iloc[1:3,:]
A | B | C | D | E | |
---|---|---|---|---|---|
2013-01-02 | 0.898280 | -1.447527 | -1.390847 | 0.344747 | -0.476424 |
2013-01-03 | 0.199546 | 1.277674 | -0.634270 | 0.014981 | -0.028560 |
(5)显示列切片——保留所有行
df.iloc[:,1:3]
B | C | |
---|---|---|
2013-01-01 | -0.613643 | 0.111717 |
2013-01-02 | -1.447527 | -1.390847 |
2013-01-03 | 1.277674 | -0.634270 |
2013-01-04 | -1.069098 | -0.567669 |
2013-01-05 | -2.116771 | 0.745177 |
2013-01-06 | -0.689503 | -0.401462 |
(6)显示获取一个值
#取出第一行第一列的数值
df.iloc[1,1]
-1.4475274167250514
(7)快速访问一个标量——等同上个方法
df.iat[1,1]
-1.4475274167250514
十二、导入和保存数据
导入csv文件时,添加列名的方式为:
x0=pd.read_csv(input_file, header=None, names=Feature)
若数据以tab分隔,则读取时可以去除的方式,如下:
df = pd.read.csv('../input/data_train.csv', sep='\t', encoding='GBK')
可以用sep参数进行去除;