Pandas
一、Pandas与NumPy的区别
如果用 python 的列表和字典来作比较, 那么可以说 Numpy 是列表形式的，没有数值标签，而 Pandas 就是字典形式。Pandas是基于Numpy构建的，让Numpy为中心的应用变得更加简单。
二、导入模块
import Pandas as pd #为了方便使用Pandas 采用pd简写
三、Series
Series的字符串表现形式为：索引在左边，值在右边。由于我们没有为数据指定索引。于是会自动创建一个0到N-1（N为长度）的整数型索引。
s = pd.Series([1,3,6,np.nan,44,1])
四、DataFrame
（1）创建方法一
dates = pd.date_range('20160101',periods=6)
df = pd.DataFrame(np.random.randn(6,4),index=dates,columns=['a','b','c','d'])
（2）创建方法二
df2 = pd.DataFrame({'A' : 1.,
'B' : pd.Timestamp('20130102'),
'C' : pd.Series(1,index=list(range(4)),dtype='float32'),
'D' : np.array([3] * 4,dtype='int32'),
'E' : pd.Categorical(["test","train","test","train"]),
'F' : 'foo'})
DataFrame是一个表格型的数据结构，它包含有一组有序的列，每列可以是不同的值类型（数值，字符串，布尔值等）。DataFrame既有行索引也有列索引， 它可以被看做由Series组成的大字典。
（3）根据每一个不同的索引来挑选数据, 比如挑选 b 的元素
df['b']
（4）查看数据中的类型
df2.dtypes
（5）查看对列的序号
df2.index
（6）查看每种数据的名称
df2.columns
（7）查看所有DateFrame的值
df2.values
（8）数据的总结
df2.describe()
（9)翻转数据（transpose）
df2.T
（10）对数据的 index 进行排序
df2.sort_index(axis=1, ascending=False)
（11）对数据值排序
df2.sort_values(by='B')
五、选择数据
（1）简单筛选
df['A']
df.A
（2）切片筛选（让选择跨越多行或多列）
df[0:3]
df['20130102':'20130104']
（3）使用标签来选择数据（loc） :代表所有行
df.loc['20130102']
df.loc[:,['A','B']]
df.loc['20130102',['A','B']]
（4）根据位置进行选择（iloc）
df.iloc[3,1]
df.iloc[3:5,1:3]
df.iloc[[1,3,5],1:3]
（5）混合选择（ix）
df.ix[:3,['A','C']]
（6）通过判断的筛选
df[df.A>8]
六、设置值
（1）根据位置设置（loc 和 iloc）
df.iloc[2,2] = 1111
df.loc['20130101','B'] = 2222
（2）根据条件设置
df.B[df.A>4] = 0
（3）按行或列设置
df['F'] = np.nan
（4）添加数据
df['E'] = pd.Series([1,2,3,4,5,6], index=pd.date_range('20130101',periods=6))
七、处理丢失数据
有时候我们导入或处理数据, 会产生一些空的或者是 NaN 数据,如何删除或者是填补这些 NaN 数据呢？
（1）直接去掉有 NaN 的行或列（dropna）
df.dropna(
axis=0, # 0: 对行进行操作; 1: 对列进行操作
how='any' # 'any': 只要存在 NaN 就 drop 掉; 'all': 必须全部是 NaN 才 drop
)
（2）将 NaN 的值用其他值代替
df.fillna(value=0)
（3）判断是否有缺失数据 NaN ，为 True 表示缺失数据
df.isnull()
（4）检测在数据中是否存在 NaN, 如果存在就返回 True（表格太大不好看）
np.any(df.isnull()) == True
八、Pandas导入导出
pandas可以读取与存取的资料格式有很多种，像csv、excel、json、html与pickle等… 详细请看[官方说明文件](https://pandas.pydata.org/pandas-docs/stable/user_guide/io.html)
（1）读取CSV（excel可以打开）
data = pd.read_csv('student.csv')
（2）将资料存取成pickle
data.to_pickle('student.pickle')
九、Pandas合并
pandas处理多组数据的时候往往会要用到数据的合并处理,使用 concat是一种基本的合并方式.而且concat中有很多参数可以调整,合并成你想要的数据形式。
（1）axis (合并方向)
res = pd.concat([df1, df2, df3], axis=0) #concat纵向合并
（2）ignore_index (重置 index)
res = pd.concat([df1, df2, df3], axis=0, ignore_index=True)
（3）join (合并方式)
#纵向"外"合并df1与df2
res = pd.concat([df1, df2], axis=0, join='outer')
依照column来做纵向合并，有相同的column上下合并在一起，其他独自的column个自成列，原本没有值的位置皆以NaN填充。
#纵向"内"合并df1与df2
res = pd.concat([df1, df2], axis=0, join='inner')
只有相同的column合并在一起，其他的会被抛弃。
（4）join_axes (依照 axes 合并)
#依照`df1.index`进行横向合并
res = pd.concat([df1, df2], axis=1, join_axes=[df1.index])
（5）append (添加数据)
append只有纵向合并，没有横向合并。
res = df1.append(df2, ignore_index=True)
十、Pandas 合并 merge
pandas中的merge和concat类似,但主要是用于两组有key column的数据,统一索引的数据. 通常也被用在Database的处理当中。
（1）依据一组key合并
res = pd.merge(left, right, on='key')
（2）依据两组key合并
res = pd.merge(left, right, on=['key1', 'key2'], how='inner')
res = pd.merge(left, right, on=['key1', 'key2'], how='outer')
res = pd.merge(left, right, on=['key1', 'key2'], how='left') #基于左边
res = pd.merge(left, right, on=['key1', 'key2'], how='right') #基于右边
（3）Indicator
indicator=True会将合并的记录放在新的一列。
res = pd.merge(df1, df2, on='col1', how='outer', indicator=True)
# 自定indicator column的名称
res = pd.merge(df1, df2, on='col1', how='outer', indicator='indicator_column')
（4）依据index合并
res = pd.merge(left, right, left_index=True, right_index=True, how='outer')
（5）解决overlapping的问题 （区分名字相同但内涵不同的问题，比如男生的年龄和女生的年龄）
res = pd.merge(boys, girls, on='k', suffixes=['_boy', '_girl'], how='inner')
十一、Pandas数据可视化
（1）导入模块
import matplotlib.pyplot as plt
（2）Series可视化
# 随机生成1000个数据
data = pd.Series(np.random.randn(1000),index=np.arange(1000))
# 为了方便观看效果, 我们累加这个数据
data.cumsum()
# pandas 数据可以直接观看其可视化形式
data.plot()
plt.show()
（3）Dataframe 可视化
data = pd.DataFrame(
np.random.randn(1000,4),
index=np.arange(1000),
columns=list("ABCD")
)
data.cumsum()
data.plot()
plt.show()
（4）scatter
ax = data.plot.scatter(x='A',y='B',color='DarkBlue',label='Class1')
data.plot.scatter(x='A',y='C',color='LightGreen',label='Class2',ax=ax)
plt.show()
