Pandas的基本用法
Pandas是使用python进行数据分析不可或缺的第三方库。我们已经知道，NumPy的ndarray数据结构能够很好地进行数组运算，但是当我们需要进行为数据添加标签，处理缺失值，对数据分组，创建透视表等任务时，NumPy的的限制就非常明显了。而Pandas是在NumPy基础上建立的新程序库，提供了高效的Series和DataFrame数据结构。DataFrame本质上是一种带行列标签，支持同类型数据和缺失值的二维数组（Series是一维数组）。在此之前，”数据清洗“（Data Munging）往往要耗费人们大量的时间和精力，而Pandas给人们进行提供了一个有效的工具。
一. 导入pandas库
import pandas as pd
二. 创建Series对象
1. 通过python列表创建
data=pd.Series([1,2,3,4], index=['a','b','c','d'])
a 1 b 2 c 3 d 4
（注：Series对象和numpy数组的区别：numpy数组通过隐式定义的整数索引获取数值；而pandas的Series对象用显式定义的索引与数值关联。）
2. 通过python字典创建
data=pd.Series({'A':1,'B':2,'C':4})
A 1 B 2 C 4
三. 创建DataFrame对象
1. 通过python字典创建
data=pd.DataFrame({'a':[1,2,3],'b':'foo','c':pd.Categorical(['me','you','it'])})
a b c 0 1 foo me 1 2 foo you 2 3 foo it
2. 通过Series对象创建
series=pd.Series({'A':1,'B':2,'C':4})
data=pd.DataFrame(series, columns=['number'])
number A 1 B 2 C 4
3. 通过由Series对象构成的字典创建
series1=pd.Series({'A':1,'B':2,'C':4})
series2=pd.Series([1,2,3,4], index=['A','B','C','D'])
data=pd.DataFrame({'number1':series1, 'number2':series2})
number1 number2 A 1.0 1 B 2.0 2 C 4.0 3 D NaN 4
4. 通过numpy二维数组创建
data=pd.DataFrame(np.random.rand(3,2), index=['a','b','c'], columns=['N1','N2'])
N1 N2 a 0.642597 0.869653 b 0.160318 0.663777 c 0.807979 0.043525
5. 从文件中读取
pd.read_excel(filepath) --- 读取excel文件
pd.read_csv(filepath, sep=', ') --- 读取csv文件，sep表示分隔符，默认以逗号分隔，可改成其他，如以tab分隔---sep='\t'
pd.read_json(filepath) --- 读取json文件
四. 查看数据的属性（attributes）
1. info() --- 查看数据属性简介，包括行列索引，数据类型，占用多少内存
2. shape --- 查看数据的形状（每个维度的大小）
3. index --- 查看Series对象和DataFrame对象的行索引
4. columns --- 查看DataFrame对象的列标签
5. values --- 查看对象的值
6. dtypes --- 查看数据类型
7. describe() --- 查看每列数据的描述统计量
五. 索引（Indexing）和切片（Slicing）
1. data.loc[row_index_name, : ] --- 显式选取某行
2. data.iloc[row_index_from_zero, : ] --- 隐式选取某行
3. data['column_name'] --- 选取某列
4. data.loc[row_index_name1: row_index_name2, : ] --- 显式选取连续的几行
5. data.iloc[row_index_from_zero1: row_index_from_zero2, : ] --- 隐式选取连续的几行
6. data.loc[ : , 'column_name1': 'column_name2'] --- 显式选取连续的几列
7. data.iloc[ : , column_index_from_zero1: column_index_from_zero2] --- 隐式选取连续的几列
8. data.loc[row_index_name1: row_index_name2, 'column_name1': 'column_name2'] --- 显式选取连续的几行几列
9. data.iloc[row_index_from_zero1: row_index_from_zero2, column_index_from_zero1: column_index_from_zero2] --- 隐式选取连续的几行几列
10. data.loc[[row_index_name1,row_index_name2, ...], :] --- 显式选取不连续的几行
11. data.iloc[[row_index_from_zero1, row_index_from_zero2, ...], :] --- 隐式选取不连续的几行
12. data.loc[ :, [column_name1, column_name2, ...]] --- 显式选取不连续的几列
13. data.iloc[ :, [column_index_from_zero1, column_index_from_zero2, ...]] --- 隐式选取不连续的几行
六. 添加数据
1. data.loc[new_row_index]=[.....] --- 添加新行
data.append(other, ignore_index=True) --- 添加新行
2. data['new_column_name']=[.....] --- 添加新列
3. data.insert(column_index, 'new_column_name',[...]) --- 在指定位置插入列
七. 删除数据
1. data.drop(row_index_from_zero, axis=0,inplace=True) --- 删除某行
2. data.drop('column_name', axis=1,inplace=True) --- 删除某列
八. 更改数据
1. rename(columns={'old_column_name':'new_column_name'}, inplace=True) --- 更改某个列名
2. set_index('col_name') --- 更改索引（索引变为选择的列）
3. reset_index() --- 更新索引
4. replace(old_value, new_value, inplace=True) --- 替换数据
九. 重复值
1. duplicated() --- 根据数据每一行是否有重复值，返回相应的布尔值
2. drop_duplicates() --- 返回已剔除有重复值的行的数据
十. 缺失值
1. pd.isnull(data) --- 返回一个布尔类型的掩码，标记数据是否有缺失值，如有缺失值则标记True
2. pd.notnull(data) --- 返回一个布尔类型的掩码，标记数据是否没有缺失值，如没有缺失值则标记True
3. dropna(axis=0, how='any') --- 返回剔除缺失值的数据
4. fillna(value, axis=0, method='backfill') --- 返回填充了缺失值的数据副本
十一. 唯一值
1. pd.unique(values) --- 显示唯一值
2. nunique(axis=0, dropna=True) --- 显示唯一值的个数
十二. 转换数据类型
1. astype(dtype) 注：可转换的数据类型有：int, str, float ... ;
2. pd.to_datetime(string) --- 转换成时间序列
十三. 使用掩码过滤(（Mask Arrays）
1. data[mask] 注：一些条件表示方法：&（and） ，|（or），~（not），.isin（in）
十四. 排序
1. sort_index(axis=0, ascending=True) --- 按索引排序
2. sort_values(by=..., axis=0, ascending=True) --- 按内容排序
十五. 数据分组
1. groupby(by=None, axis=0) --- 把数据按某一列分组 注： groupby()是一个数据分组的对象，它实际上还没有进行任何计算，只是一个暂时存储的容器，要使用累计方法后才会进行计算。因此，groupby一般与累计函数搭配使用。
累计方法有：count(), mean(), median(), min(), max(), std(), prod(), sum() 等等 注：参数axis=0表示按行进行计算，axis=1表示按列进行计算，默认axis=1；如果需要对特定Series使用两个及以上的累计方法，请使用agg()。如果需要对整个DataFrame（按行或按列）使用自定义的累计方法，请使用apply()。
十六. 透视表
1. pd.pivot_table(data, values=None, index=None, columns=None, aggfunc='mean') --- 以index为行索引，columns为列索引，累计方法为aggfunc，对data的values作透视表
十七. 合并数据
1. pd.concat([d1,d2], axis=0, join='outer', ignore_index=False) --- 按某一个轴的方向合并d1和d2
2. d1.merge(d2, how='inner', on=None, left_on=None, right_on=None) --- 把某一列作为键进行合并，假如两张表作为键的列名称不一致，那么可以通过设置left_on和left_on来解决
注：how可选"left", "right", "outer", "inner"
"left"：类似于SQL的left outer join；
"right"：类似于SQL的right outer join；
"outer"：并集，类似于SQL的full outer join；
"inner"：交集，类似于SQL的inner join；
3. d1.join(d2, on=None, how='left') --- 按索引合并d1和d2
十八. 分隔数据
1. str.split() --- 分割字符串
2. pd.cut(xx, bins, labels=None) --- 按组数bins给数据分区，每组的组距相同
3. pd.qcut(xx, quantiles, labels=None) --- 根据数值出现的频率进行分区，组距自动计算，确保每组的数量相同
十九. 其他
1. stack() --- 将普通索引的DataFrame转化成多级索引的Series
2. unstack() --- 将多级索引的Series转化成普通索引的DataFrame
3. value_counts() --- 统计数值出现的次数
4. str.lower() --- 转换成小写字母
5. str.upper() --- 转换成大写字母
