十分钟了解pandas
十分钟掌握Pandas(上)——来自官网API
一、numpy和pandas
numpy是矩阵计算库，pandas是数据分析库，关于百度百科，有对pandas的介绍。
pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现，它是使Python成为强大而高效的数据分析环境的重要因素之一。
二、数据类型
| numpy | pandas |
|---|---|
| ndArray相当于n维矩阵 | Series（类似一维数组，或者kv值对） |
| 在numpy中只有ndArray一种，但是ndArray有很多种数据类型 | DataFrame（使用csv读入数据是dataFrame） |
二、官网API
2.1.Object craetion
因为pandas基于numpy进行开发，所以，我们要引入pandas的同时进行引入numpy
import numpy as np
import pandas as pd
我们创建一个integer索引的Series
s = pd.Series([1,3,5,np.nan,6,8])
print(s)
创建一个DataFrame类型，使用NumPy的数组，index是行，columns是列
df = pd.DataFrame(np.random.randn(6,4),index=dates,columns=list('ABCD'))
print(df)
这边是另一种创建方式
df2 = pd.DataFrame({
'A':1.,
'B':pd.Timestamp('20130102'),
'C':pd.Series(1,index=list(range(4)),dtype='float32'),
'D':np.array([3]*4,dtype='int32'),
'E':pd.Categorical(["test","train","test","train"]),
'F':'foo'
})
print(df2)
我们从头查看，或者从尾查看
df.head()
df.tail(3)
Series使用to_numpy()转换为ndArray格式
df.to_numpy()
我们的DataFrame格式，也可以使用to_numpy()进行转换
df2.to_numpy()
使用df.describe进行查看DataFrame的属性
df.describe()
使用T属性，可以查看DataFrame的转置
df.T
使用sort_index可以进行按照索引行列进行排序，指定axis维度为0按照列进行排序，指定axis维度为1按照行进行排序，ascending为False为逆序排序，True为正序进行排序
df.sort_index(axis=1,ascending=False)
按照值进行排序
df.sort_values(by='B')
2.2.Selection
注意，我们标准的Python/Numpy表达选择是直接查看，如果我们数据量庞大，则会使用.at,.iat,.loc和.iloc进行间接获取数据
Getting
直接获取一个列
df['A']
切片获取
df[0:3]
Selection by label
获取标签行
df.loc[dates[0]]
2.3.Select by position
通过索引位置进行获取
df.iloc[3]
位置仍然可以通过行列或者切片方式
2.4.Boolean indexing
布尔选择器
df[df.A>0]
我们可以通过isin()方法进行过滤pandas表
df2=df.copy()//拷贝
df2['E']=['one','two','three','four','five']//插入新列
df2[df2['E'].isin('two','three')] //进行选择过滤
2.5.Setting
设置一个新列进行设置
我们的一个列相当于一个Series格式，现在我们发现Pandas的行相当于一个二维的Series进行封装
s1 = pd.Series([1,2,3,4],index=pd.date_range('20130102',periods=4))
df['F']=s1
通过标签进行设置值
df.at[dates[0],'A']=0
通过值来进行定位
df.iat[0,1]=0
2.6.Missing data
缺失数据值，pandas 最初使用np.nan进行代表缺失值，比如无法计算，会使用Nan进行代替
reindex重建方法
df1 = df.reindex(index=dates[0:4], columns=list(df.columns) + ['E'])
去掉丢失数据的行
df1.dropna(how='any')
填充缺失的数据
df1.fillna(value=5)
bool判断是否为na
df1.isna(df1)
2.7.operations
求平均，axis设置为0，1为根据行或者列进行求平均
df.mean(0)
df.mean(1)
去掉前两个值，下次依次执行了2次shift，去掉了前面四个值
s=pd.Series([1,3,5,np.nan,6,8],index=dates)
s=s.shift(2)
s=s.shift(2)
s
