Pandas Learning

Panda Introduction

Pandas 是基于 NumPy 的一个很方便的库,不论是对数据的读取、处理都非常方便。常用于对csv，json，xml等格式数据的读取和处理。
Pandas定义了两种自己独有的数据结构，Series 和 DataFrame。

Series

Series可以理解为竖着的列表。
(Ps：Series中元素可以是任意类型)
```
  index | data
  ---|---
  0 | XiaoWang 
  1 | XiaoLin
```

Series比较常用的定义方式有如下几种

传入列表定义Series

s = Series([66,'score','scout','fbricate'])

传入字典定义Series

s = Series({'No1':66,'No2':'score','No3':'scout','No4':'fbricate'})

比较常用的属性和方法

S.values 可以显示Series对象的数据值

s = Series({'No1':66,'No2':'score','No3':'scout','No4':'fbricate'})
print(s.values)

S.index 可以显示Series对象的索引

s = Series({'No1':66,'No2':'score','No3':'scout','No4':'fbricate'})
print(s.index)

判断是否为空
- pd.isnull（series对象）
- pd.notnull（series对象）
- Series 对象.isnull()
- Series 对象.index = []
  可以重新定义索引的名字
```
s = Series({'No1':66,'No2':'score','No3':'scout','No4':'fbricate'})
s.index=['no1','no2','no3','no4']
print(s)
```

Series自定义索引机制（索引不仅可以是数字）
- 实际实现：数据值和自定义索引分别对应于两个列表，新索引自动指向于相应旧索引指向的数据值实现“自动对齐”。
- 利用已经生成的Series创建新的Series，并且尝试传入原本不存在的索引
```
s = Series({'No1':66,'No2':'score','No3':'scout','No4':'fbricate'})
s1 = Series(s,index= ['No1','No2','No3','No4','No5'])
print(s1)
```
  Ps:数据不存在用NaN表示。
- 当旧的索引不在新定义的索引中，则该数据项自动剔除，不进入新的Series中，索引对应可以看成是新的对旧的数据的一种筛选或者添加。
```
s = Series({'No1':66,'No2':'score','No3':'scout','No4':'fbricate'})
s1 = Series(s,index= ['No1','No2','No4','No5'])
print(s1)
```
Series相关运算
- 筛选符合条件的数据，返回一个新的Series
```
s = Series({'No1':66,'No2':70,'No3':-2,'No4':3})
s1 = s[s > 0]
print(s1)
```
- 对Series进行普通加减乘除以及平方等任何运算都是针对Series里所有数据的
```
s = Series({'No1':66,'No2':70,'No3':-2,'No4':3})
s1 = s**2
print(s1)
```
- 用in判断某索引或者数据值是否在Series中
  - 判断索引（直接查询对象默认是查询键值）
```
s = Series({'No1':66,'No2':70,'No3':-2,'No4':3})
print(66 in s)
print('No1' in s)
```
  - 判断键值（应在s.values中查找）
```
s = Series({'No1':66,'No2':70,'No3':-2,'No4':3})
print(66 in s.values)
```
- 两个Series之间的运算（只把具有相同索引的值进行运算，而不是共有的索引都赋值为NaN）
```
s1 = Series({'No1':66,'No2':70,'No3':-2,'No4':3})
s2 = Series({'No1':4,'No2':0,'No5':-2,'No4':67})
print(s1 + s2)
```

DataFrame

DataFrame 是一种二维的数据结构，与电子表格非常像，竖行为columns，横行为index。每一列可以理解为由一个Series构成。如下:

None column0 column1

index0

index1

定义方式

传入字典定义DataFrame

data = {"name":["Mark","Mike","Michel"],"age":[21,22,23],"favorite":["basketball","game","computer"]}
df = DataFrame(data)
# df = DataFrame(data,columns=['age','name','favorite']) 可以规定显示键（columns）的顺序
print(df)

自定义索引（默认为0，1，2等整数）

df = DataFrame(data,index=["No1","No2","No3"])

采用“字典套字典”的方式定义DataFrame

data = {"name":{"No1":"Mark","No2":"Mike","No3":"Michel"},"age":{"No1":21,"No2":22,"No3":23},"favorite":{"No1":"basketball","No2":"game","No3":"computer"}}
df = DataFrame(data)
print(df)

属性方法和常用操作
- DataFrame.columns，能够显示素有的 columns 名称。
```
print(df.columns)
```
- DataFrame.index，获得行索引信息
- DataFrame.shape，获得df的size
- DataFrame.shape[0],获得df的行数
- DataFrame.shape[1],获得df的列数
- DataFrame.values,获得df中的值
- 得到某竖列（可以理解为一个Series）的全部内容。
```
print(df['name'])
```
- 索引某几行
```
#索引前3行
df[:3]
```
- 可利用loc/iloc/ix索引函数进行索引
  
  loc/iloc/ix 参考【1】【2】
- del df[0] 删除第0列
- df.drop(0) 删除第0行
- 给某一列统一赋值
```
# 添加某一新列并且赋初始值：
df1['NewColumn'] = 0
```
```
data = {"name":{"No1":"Mark","No2":"Mike","No3":"Michel"},"age":{"No1":21,"No2":22,"No3":23},"favorite":{"No1":"basketball","No2":"game","No3":"computer"}}
df = DataFrame(data)
# 新增一行No4，一列 ID 和 Status。
df1 = DataFrame(df,columns=["ID","name","age","favorite","Status"],index=["No1","No2","No3","No4"])
# 为Status统一赋值yes。
df1["Status"]="yes"
print(df1)
```
- 利用Series点对点添加数据（DataFrame每一列是一个Series）
```
# 创建ID列并且赋值
IDSeries = Series(['001','002','004'],index=["No1","No2","No4"])
df1['ID'] = IDSeries
```
  Ps：Series的索引会与DataFrame的索引自动对齐，以此为依据定向添加数据。
- DataFrame也可以单点精确的修改数据（仿照字典dict操作），比如：
```
df1['name']['No3'] = 'MICHEL'
print(df1)
```
  可见数据虽然是成功修改过来了，但是却报了一个SettingWithCopyWarning，其中原因是说“在DataFrame的一个切片上进行赋值操作”，虽然我也不理解在切片上进行数据处理有什么不妥，而且使用给定的索引工具loc创建新的df并进行相同操作也会报如上警告。最后看了网上找了一个比较好的解决方案是：先生成正确的Series再将整个Series插入DataFrame会更加有效。
  
  解决方案参考
- DataFrame选择某些列或者行进行输出，生成新的DataFrame。
```
# 筛选 name列和age列
df2 = DataFrame(df1,columns=["name","age"])
print(df2)
# 筛选No1,No2行
df3 = DataFrame(df1,index=["No1","No2"])
print(df3)
```
- 根据某列sort排序
```
# 按照age递减排序
print(data.sort_values(["age"],ascending=False))
```
- map(function)运算传入一个函数，应用在dataframe的每一个元素上，返回一个dataframe。
- apply(function，axis)运算对dataframe的每一列或行进行运算，返回一个Series索引为原先的columns，数据值为函数值（ps：不指定axis对列操作，指定axis=1，对行操作）。
- Group by操作
参考链接
- 可以将dataframe导出到csv文件，to_csv方法。
```
df.to_csv(file_path, encoding='utf-8', index=False)
# index为False表示不导出dataframe的index数据
```