Python--Pandas.2(DataFrame的概念和创建,索引,基本操作)
DataFrame
DataFrame 概念和创建 :
先来看一个例子 :
这是一个由列表组成的字典
import numpy as np import pandas as pd data = {'name':['Jack','Tom','Mary'],'age':[18,19,21],'gender':['m','m','w']} frame = pd.DataFrame(data) print(frame)
可以看到 DataFrame 可以理解是一个二维数组,是一个表格型的数据结构,它包含了有序的列.
print(frame.index) # 取列,标签,索引 print(frame.columns) # 取行
也可以使用Values 取得该DataFrame的值 :
print(frame.values , type(frame.values))
查看该frame的属性,可以看到该frame还是一个数组,接下来看看DataFrame的创建方式
还可以指定DataFrame的列 和 行,使用cloumns属性和 index 属性 list类型参数,(如果设置的该列不存在,就用NaN填充) :
frame = pd.DataFrame(data,index=['Jack','Tom','Mary'],columns=['age','name','gender','height'])
需要注意的是 指定index 重新定义索引,格式是list ,长度需要一致.否则报错!
方法二 : 由 Series组成的字典 :
data1 = {'one':pd.Series(np.random.rand(2)),'two':pd.Series(np.random.rand(3))} #没有设置index的Series
data2 = {'one':pd.Series(np.random.rand(2),index=['a','b']),'two':pd.Series(np.random.rand(3),index=['a','b','c'])} #设置了indes9Series
print (data2)
df1 = pd.DataFrame (data1)
df2 = pd.DataFrame (data2)
与上面的方法一相比,Series 可以长度不一样,对于没有的值,DataFrame会用NaN填充.
由Series 组成的字典, 创建DataFrame时, columns为字典的key,index为Series 的标签,就是索引.如果Series没有指定标签,那就默认用数字标签.
方法三 : 通过 二维数组 直接创建
arr = pd.DataFrame(np.random.rand(9).reshape(3,3))
可以看到,由于没设置 行和列 , 所以默认用数字标签. 这样不美观,不便于编码,所以我们可以手动添加columns和index
arr1 = pd.DataFrame(np.random.rand(9).reshape(3,3),index=['a','b','c'],columns=['one','two','three'])
通过 二维数组 直接创建DataFrame,得到一个形状的结果数据.如果不指定index 和 columns,两者均返回默认的数字格式.
?? 尝试一下index 或columns 长度不等于已有数据的情况 ??
arr1 = pd.DataFrame(np.random.rand(9).reshape(3,3),index=['a','b','c','d'],columns=['one','two','three']) #index中的d
报错了, 所以index 和columns的长度必须与原数据保持一致!
方法四 : 由 字典组成的列表
data = [{'one':1,'two':2},{'one':5,'two':10,'three':20}]
arr= pd.DataFrame(data)
由 字典组成的列表创建DataFrame, columns为字典的key ,index 不做指定则默认为数据标签.
如果设置index 那么标签/索引就是 指定的 :
arr= pd.DataFrame(data,index=['a','b'])
如果只设置了行 那么 就只创建指定的行
arr= pd.DataFrame(data,columns=['one','two'])
# columns 和 index 参数分别重新指定相应列 及行 标签 以上#
方法五 : 由 字典组成的字典
data = { 'Jack':{ 'math':90,'english':89,'art':78 }, 'Marry':{ 'math':82,'english':95,'art':92 }, 'Tom':{ 'math':78,'english':67 } } df = pd.DataFrame(data)
# 可以看到 由字典组成的字典创建DataFrame ,columns为字典的key , index 就是子字典的key.
另外 : columns参数可以增加和减少现有的列 ,如果出现新的列,会用NaN值进行填充 ,如下 :
df = pd.DataFrame(data , columns=['Jack','Marry','Tom'])
另外 Index正在这里可之前不同, 不能改变原有的 index ,如果指定为新的标签 ,值就会变成NaN ,因为它匹配不到指定的标签(非常重要) ,如图 :
df = pd.DataFrame(data , index=['a','b','c'])
### 以上就是DataFrame的几种创建方法 . . . . . .
DataFrame 索引 :
1. 如何选择 行 和 列 :
df = pd.DataFrame(np.random.rand(12).reshape(3,4),index=['one','two','three'],columns=list('abcd'))
选择一列 或者 多列 :
df['a'] #单列 df[['a','c']] #多列
DataFrame是一个包含多个Series的数组, 所以 返回的单列 是一个 Series . 返回多列 则是一个DataFrame.
单独选列 整数参数可以选择行,但是不能单独选 必须以冒号来选 ,利用切片的方式 !
行 - loc : 按index 选择行
df.loc['two']
当我们指定index 只能使用索引标签, 未指定index 才能使用数字索引 . 返回的单行 和 多行,同上,Series 和DataFrame类型
如果选择 不存在 的行 ,Pycharm 会报错 , 而Jupyter 则会用NaN填充!
标签不同 切片方式也不相同 :
df = pd.DataFrame(np.random.rand(12).reshape(3,4),index=['one','two','three'],columns=list('abcd')) df1 = pd.DataFrame(np.random.rand(12).reshape(3,4),columns=list('abcd')) print(df.loc['two':'three']) print(df1.loc[1:2])
DataFrame 使用整数做索引,index是可变的,所以整数成了标签,string 而不是数字. 标签切片 ,闭区间
DataFrame.loc[ label ] 主要是针对 行 索引 ,同时指出指定index 以及默认index
DataFrame .iloc[ ] 按照参数位置(从0到length-1) 选择行,类似于 list 的索引,顺序是DataFrame的整数位置,从0开始
df.iloc[0] #取一行
df.iloc[[0,1]] #选择多行
df.iloc[[1,0]] #位置变换去行
运行之后,从结果可以看出,正常索引没有问题,选择多行, 索引顺序可变,python会自动去配对相应的行索引. 同时索引时,不能超出索引的范围
如果忘了 函数的使用 可以用全局函数 help(参) 接口来查看相应的使用方式及详细说明
布尔型索引 -- 原理上 和Series 原理相同,看代码 :
df = pd.DataFrame(np.random.rand(12).reshape(3,4),index=list('one','two','three'),columns=list('a','b','c','d')) * 100
b1 = df <50 # 返回一个和df形状相同的布尔型的dataframe df[b1] #返回一个dataframe,所有数据,True返回原数据,False 返回NaN
还可以对单列进行判断 :
b2 = df['a']>30 print(df['a'][b2])
# 单列就是一个Series ,索引时,保留判断为True的列数据和行. 范湖的是一个Series .
还可以多行,多列判断 :
b3 = df[['a','b']]>30 print(df[b3])
多行多列 返回形状相同的dataframe ,为True的返回原数据,False返回NaN 值.
多重索引 同时索引行和列
#多重索引的几种方式 df['a'].loc[['one','three']] #从A列索引one ,three 两行数据 df[['b','c','d']].iloc[::2] # 从b,c,d3列索引,每隔2个索引一条 df[df['a']<50].iloc[0] #索引A列小于50的第一个值
索引的方式多种多样 , 多尝试多探索. 索引的基本方式就是这样了
DataFrame 基本操作 :
df = DataFrame(np.random.rand(10000).reshape(100,100))
前 head() 尾 tail() :
df.head(2) # 查看前 2行 df.tail(3) #查看尾 3行 默认查看5行
数据转置 :
dfs = DataFrame(np.random.rand(4).reshape(2,2))
dfs
dfs.T
添加和修改 :
添加 index 和 添加columns :
dfs.index =['one','two'] dfs.columns=list('ab')
添加列 及 指定 值 :
dfs['c'] =88
修改 列 及多列 :
dfs['c'] =20 dfs[['a','b']] = 33
添加 行 :
dfs.loc['c'] =6 #添加行 c 并指定值为6
① 删除 列 :
del dfs['a']
② 列删除方法 drop :
dfs.drop('one') # 按索引删除 数字,字符串 类型 默认返回删除后的DataFrame 不修改原数据
drop 有个默认参数 'axis' , 默认为0, 删除行. 设置为1 删除列
dfs.drop('b',axis=1)
# drop 默认返回一个数据类型, 设置inplace为True时,不返回值,会修改原数据
dfs.drop('b',axis=1,inplace=True) print(dfs)
对齐 将两个DataFrame相加时：
df1 = DataFrame(np.arange(9).reshape(3,3),columns=list('abc')) df2 = DataFrame(np.arange(4).reshape(2,2),columns=list('ab')) print(df1+df2)
DataFrame相加时 按照行和列 对齐相加，如果不存在的行和列 则和NaN相加 ，NaN和任何值相加都为NaN
排序功能 ：
对行 或者 列 进行排序 ：
df = DataFrame(np.random.randint(16,size=[4,4]),columns=list('abcd')) print(df) #原数据
按值 排序 ：
df.sort_values('d')
👆 ： 按照列标签等于指定 列 的值进行排序 ， 默认从小到大, 参数 ascending 默认为True 升序，False就降序
👆 ：默认 axis=0 用列的值对行进行排序，设置 1 则对行的值对列进行排序。所以第一个参数需要传入列索引
df.sort_values(2,axis=1)
按 索引排序 ：
df.index= [5,3,1,2]
df.sort_index()
👆 ：默认按索引进行升序，ascending=False 降序 ,如果要对列排序 将axis参数设置为 1 即可。（行首和列首只有一行，所以不需要填索引）
👆 ：sort_values , sort_index 都有一个 inplace 的参数，作用与上面的API一致(设置为True 时，修改原数据不返回对象，否则返回新的对象.)
