Pandas
Pandas的数据结构
导入pandas：
import pandas as pd
from pandas import Series,DataFrame
import numpy as np
Series
Series是一种类似与一维数组的对象，由下面两个部分组成：
- values：一组数据（ndarray类型）
- index：相关的数据索引标签
Series(
data=None,
index=None,
dtype=None,
name=None,
copy=False,
fastpath=False,
)
Series的创建
由列表或numpy数组创建
- 默认索引为0到N-1的整数型索引
# 使用列表创建Series
Series(data=[1,2,3,])
0 1
1 2
2 3
dtype: int64
Series(data=np.random.randint(0,100,size=(3)))
0 93
1 76
2 65
dtype: int32
- 可以通过设置index参数指定索引
Series(data=[1,2,3],index=['a','b','c']) #显式索引
a 1
b 2
c 3
dtype: int64
============================================
练习1：
使用多种方法创建以下Series，命名为s1：
语文 150
数学 150
英语 150
理综 300
============================================
Series的索引和切片
可以使用中括号取单个索引（此时返回的是元素类型），或者中括号里一个列表取多个索引（此时返回的是一个Series类型）。
(1) 显式索引：
使用index中的元素作为索引值
使用
s.loc[]（推荐）:注意，loc中括号中放置的一定是显示索引注意，此时是闭区间
s = Series([1,2,3,4],index=['a','b','c','d'])
s
a 1
b 2
c 3
d 4
dtype: int64
s[1] # 2，隐式索引：
s['a'] # 1
s.a # 1 显示索引
隐式索引：
使用整数作为索引值
使用.iloc[]（推荐）:iloc中的中括号中必须放置隐式索引
注意，此时是半开区间
s[1:3] # 隐式切片
s['a':'c'] # 显示切片
a 1
b 2
c 3
dtype: int64
Series的基本概念
可以使用s.head(),tail()分别查看前n个和后n个值
s.head(2)
a 1
b 2
dtype: int64
对Series元素进行去重
s = Series([1,1,1,2,3,3,3,3,2])
s.unique()
array([1, 2, 3], dtype=int64)
使得两个Series进行相加。
当索引没有对应的值时，可能出现缺失数据显示NaN（not a number）的情况
s1 = Series([1,2,3],index=['a','b','c'])
s2 = Series([1,2,3],index=['a','d','c'])
s = s1 + s2
s
a 2.0
b NaN
c 6.0
d NaN
dtype: float64
可以使用pd.isnull()，pd.notnull()，或s.isnull(),notnull()函数检测缺失数据
s[[1,2]] # 一次取多值
s[['a','b']]
s[[True,False,True,False]] # True将值保留，False:将值舍去。True:2,False:NaN,True:6,Flase:NaN。
a 2.0
c 6.0
dtype: float64
s.isnull() # 检测每个元素，NOT NaN:False；NaN:True
a False
b True
c False
d True
dtype: bool
s.notnull() # 检测每个元素，NOT NaN:True；NaN:False
a True
b False
c True
d False
dtype: bool
s[s.notnull()]
a 2.0
c 6.0
dtype: float64
Series之间的运算
- 在运算中自动对齐不同索引的数据
- 如果索引不对应，则补NaN
DataFrame
DataFrame是一个【表格型】的数据结构。DataFrame由按一定顺序排列的多列数据组成。设计初衷是将Series的使用场景从一维拓展到多维。DataFrame既有行索引，也有列索引。
- 行索引：index
- 列索引：columns
- 值：values
DataFrame的创建
最常用的方法是传递一个字典来创建。DataFrame以字典的键作为每一列的名称，以字典的值（一个数组）作为每一列。
此外，DataFrame会自动加上每一行的索引。
使用字典创建的DataFrame后，则columns参数将不可被使用。
同Series一样，若传入的列与字典的键不匹配，则相应的值为NaN。
- 使用ndarray创建DataFrame
df = DataFrame(data=np.random.randint(0,100,size=(3,4)),index=['a','b','c'],columns=['A','B','C','D'])
df
| A | B | C | D | |
|---|---|---|---|---|
| a | 49 | 10 | 86 | 64 |
| b | 6 | 74 | 62 | 13 |
| c | 49 | 79 | 14 | 25 |
DataFrame属性：values、columns、index、shape
df.values
array([[49, 10, 86, 64],
[ 6, 74, 62, 13],
[49, 79, 14, 25]])
df.columns
Index(['A', 'B', 'C', 'D'], dtype='object')
df.index
Index(['a', 'b', 'c'], dtype='object')
df.shape
(3, 4)
试做：使用ndarray创建DataFrame：创建一个表格用于展示张三，李四，王五的java，python的成绩
dic = {
'张三':[150,150,150,150],
'李四':[0,0,0,0]
}
df = DataFrame(data=dic,index=['语文','数学','英语','理综'])
df
| 张三 | 李四 | |
|---|---|---|
| 语文 | 150 | 0 |
| 数学 | 150 | 0 |
| 英语 | 150 | 0 |
| 理综 | 150 | 0 |
DataFrame的索引
(1) 对列进行索引
- 通过类似字典的方式 df['q']
- 通过属性的方式 df.q
可以将DataFrame的列获取为一个Series。返回的Series拥有原DataFrame相同的索引，且name属性也已经设置好了，就是相应的列名。
df
| 张三 | 李四 | |
|---|---|---|
| 语文 | 150 | 0 |
| 数学 | 150 | 0 |
| 英语 | 150 | 0 |
| 理综 | 150 | 0 |
# 修改列索引
df['张三'] # 返回的是Series
语文 150
数学 150
英语 150
理综 150
Name: 张三, dtype: int64
# 获取前两列
df[['李四','张三']]
| 李四 | 张三 | |
|---|---|---|
| 语文 | 0 | 150 |
| 数学 | 0 | 150 |
| 英语 | 0 | 150 |
| 理综 | 0 | 150 |
(2) 对行进行索引
- 使用.loc[]加index来进行行索引
- 使用.iloc[]加整数来进行行索引
同样返回一个Series，index为原来的columns。
df.loc['语文']
张三 150
李四 0
Name: 语文, dtype: int64
df.iloc[0]
张三 150
李四 0
Name: 语文, dtype: int64
df.iloc[[0,1]]
| 张三 | 李四 | |
|---|---|---|
| 语文 | 150 | 0 |
| 数学 | 150 | 0 |
(3) 对元素索引的方法
- 使用列索引
- 使用行索引(iloc[3,1] or loc['C','q']) 行索引在前，列索引在后
df['张三']['英语']
150
df.loc['英语','张三'] # 逗号左方：行，右方：列
150
df.loc[['数学','理综'],'张三'] # 逗号左方：行，右方：列
数学 150
理综 150
Name: 张三, dtype: int64
切片：
【注意】
直接用中括号时：
- 索引表示的是列索引
- 切片表示的是行切片
df
| 张三 | 李四 | |
|---|---|---|
| 语文 | 150 | 0 |
| 数学 | 150 | 0 |
| 英语 | 150 | 0 |
| 理综 | 150 | 0 |
df[0:2]
| 张三 | 李四 | |
|---|---|---|
| 语文 | 150 | 0 |
| 数学 | 150 | 0 |
在loc和iloc中使用切片(切列) ： df.loc['B':'C','丙':'丁']
df.iloc[:,0:1]
| 张三 | |
|---|---|
| 语文 | 150 |
| 数学 | 150 |
| 英语 | 150 |
| 理综 | 150 |
索引:
- df[列索引]：取一列
- df[[col1,col2]]:取出两列
- df.loc[显示的行索引]：取行
- df.loc[行,列]：取元素
切片： - df[index1:index3]:切行
- df.loc[col1:col3]:切列
3）DataFrame的运算
（1） DataFrame之间的运算
同Series一样：
- 在运算中自动对齐不同索引的数据
- 如果索引不对应，则补NaN
创建DataFrame df1 不同人员的各科目成绩，月考一
创建DataFrame df2 不同人员的各科目成绩，月考二
有新学生转入
============================================
练习6：
1. 假设ddd是期中考试成绩，ddd2是期末考试成绩，请自由创建ddd2，并将其与ddd相加，求期中期末平均值。
2. 假设张三期中考试数学被发现作弊，要记为0分，如何实现？
3. 李四因为举报张三作弊立功，期中考试所有科目加100分，如何实现？
4. 后来老师发现有一道题出错了，为了安抚学生情绪，给每位学生每个科目都加10分，如何实现？
============================================
qizhong = df
qimo = df
(qizhong + qimo)/2
| 张三 | 李四 | |
|---|---|---|
| 语文 | 150.0 | 0.0 |
| 数学 | 150.0 | 0.0 |
| 英语 | 150.0 | 0.0 |
| 理综 | 150.0 | 0.0 |
qizhong.loc['数学','张三'] = 0
qizhong
| 张三 | 李四 | |
|---|---|---|
| 语文 | 150 | 0 |
| 数学 | 0 | 0 |
| 英语 | 150 | 0 |
| 理综 | 150 | 0 |
qizhong['李四'] += 100
qizhong
| 张三 | 李四 | |
|---|---|---|
| 语文 | 150 | 100 |
| 数学 | 150 | 100 |
| 英语 | 150 | 100 |
| 理综 | 150 | 100 |
qizhong += 10
qizhong
| 张三 | 李四 | |
|---|---|---|
| 语文 | 160 | 110 |
| 数学 | 160 | 110 |
| 英语 | 160 | 110 |
| 理综 | 160 | 110 |
股票项目
https://www.joinquant.com/
tushare官网tushare.org，https://tushare.pro/
- 使用tushare包获取某股票的历史行情数据。
import tushare as ts
df = ts.get_k_data('600519',start='2020-08-10')
df.to_csv('./maotai.csv') # 持久化储存
df = pd.read_csv('./maotai.csv')
df
| Unnamed: 0 | date | open | close | high | low | volume | code | |
|---|---|---|---|---|---|---|---|---|
| 0 | 0 | 2020-08-10 | 1627.97 | 1633.99 | 1644.96 | 1608.11 | 23624.0 | 600519 |
| 1 | 1 | 2020-08-11 | 1640.00 | 1642.51 | 1666.43 | 1640.00 | 35818.0 | 600519 |
| 2 | 2 | 2020-08-12 | 1633.00 | 1626.95 | 1641.00 | 1605.25 | 27934.0 | 600519 |
| 3 | 3 | 2020-08-13 | 1630.00 | 1635.00 | 1638.88 | 1609.00 | 20541.0 | 600519 |
| 4 | 4 | 2020-08-14 | 1639.90 | 1661.00 | 1665.70 | 1631.00 | 37653.0 | 600519 |
df.drop(labels='Unnamed: 0',axis=1,inplace=True)
# drop函数中0是行。删除行,inplace=True:在原数据中删除。
# 验证data列中数据的数据类型
type(df['date'][2]) # str
df.head(2)
| date | open | close | high | low | volume | code | |
|---|---|---|---|---|---|---|---|
| 0 | 2020-08-10 | 1627.97 | 1633.99 | 1644.96 | 1608.11 | 23624.0 | 600519 |
| 1 | 2020-08-11 | 1640.00 | 1642.51 | 1666.43 | 1640.00 | 35818.0 | 600519 |
# 将date这一列的数据转成时间类型然后将其作为原数据的行索引
df = pd.read_csv('./maotai.csv',index_col='date',parse_dates=['date'])
# index_col:将列转为行索引，parse_dates：设置为时间类型
df.drop(labels='Unnamed: 0',axis=1,inplace=True)
df
| open | close | high | low | volume | code | |
|---|---|---|---|---|---|---|
| date | ||||||
| 2020-08-10 | 1627.97 | 1633.99 | 1644.96 | 1608.11 | 23624.0 | 600519 |
| 2020-08-11 | 1640.00 | 1642.51 | 1666.43 | 1640.00 | 35818.0 | 600519 |
| 2020-08-12 | 1633.00 | 1626.95 | 1641.00 | 1605.25 | 27934.0 | 600519 |
| 2020-08-13 | 1630.00 | 1635.00 | 1638.88 | 1609.00 | 20541.0 | 600519 |
| 2020-08-14 | 1639.90 | 1661.00 | 1665.70 | 1631.00 | 37653.0 | 600519 |
输出该股票所有收盘比开盘上涨1%以上的日期
#（收盘-开盘）/开盘 > 0.01
(df['close'] - df['open']) / df['open'] > 0.01
#True:满足需求
#false：不满足
date
2020-08-10 False
2020-08-11 False
2020-08-12 False
2020-08-13 False
2020-08-14 True
dtype: bool
#返回了满足需求的行数据
df.loc[(df['close'] - df['open']) / df['open'] > 0.01]
| open | close | high | low | volume | code | |
|---|---|---|---|---|---|---|
| date | ||||||
| 2020-08-14 | 1639.9 | 1661.0 | 1665.7 | 1631.0 | 37653.0 | 600519 |
#获取了满足需求的日期
df.loc[(df['close'] - df['open']) / df['open'] > 0.01].index
# 结论：如果获取了一组布尔值，接下来改组布尔值就直接作为元数据的行索引
DatetimeIndex(['2020-08-14'], dtype='datetime64[ns]', name='date', freq=None)
- 输出该股票所有开盘比前日收盘跌幅超过2%的日期。
- （开盘-前日收盘）/ 前日收盘 < -0.02
# (df['open'] - df['close'].shift(1))/df['close'].shift(1) < -0.02
# df['close'].shift(1):将close一列下移一列
#满足需求的行数据
df.loc[(df['open'] - df['close'].shift(1))/df['close'].shift(1) < -0.02].index
- 假如我从2010年1月1日开始，每月第一个交易日买入1手股票，每年最后一个交易日卖出所有股票，到19年9月为止，我的收益如何？
- 分析：
- 规则：基于开盘价股票的买卖
- 买：一个完整的年需要买12次股票，一次买入100只，一个完整的年需要买入1200只（单价：当天开盘价）
- 卖：一个完整的年需要卖一次股票，一次卖出1200只
- 备注：19年不是一个完整的年，该年只可以买入900只，并且卖不出去
df_new = df['2010':'2019'] # 切片，['2010-01':'2019-09']也可以
# 数据的重新取样的机制(resample):根据指定好的规则进行指定数据的提取
df_monthly = df_new.resample('M').first() # 年：A,月：M
# 计算出买股票一共花了多少钱
cost_monry = df_monthly['open'].sum()*100
cost_monry
- 卖出所有的股票一共进账多少钱
- 每年最后一个交易日以开盘价为单价进行卖出
df_yearly = df_new.resample('A').last()
df_yearly = df_yearly[:-1]
recv_monry = df_yearly['open'].sum()*1200
- 19年买入了900只股票没有卖出，剩余的股票也计算到总收益
- 剩余股票的单价应该选择使用昨日的收盘价
last_price = df.iloc[-1]['close']
cunHuo_price = last_price * 900
#计算总收益
cunHuo_price+recv_monry-cost_monry # 528908.7
处理丢失数据
有两种丢失数据：
- None
- np.nan(NaN)
None是Python自带的，其类型为python object。因此，None不能参与到任何计算中。
np.nan（NaN）是浮点类型，能参与到计算中。但计算的结果总是NaN。
pandas中None与np.nan都视作np.nan
pandas处理空值操作
isnull()notnull()dropna(): 过滤丢失数据fillna(): 填充丢失数据
创建DataFrame，给其中某些元素赋值为nan
(1)判断函数
isnull()notnull()df.notnull/isnull().any()/all()
过滤df中的空值（只保留没有空值的行）
df.dropna() 可以选择过滤的是行还是列（默认为行）:axis中0表示行，1表示的列
(3) 填充函数 Series/DataFrame
fillna():value和method参数。
可以选择前向填充还是后向填充。
method 控制填充的方式 bfill ffill
练习7：
1. 简述None与NaN的区别
2. 假设张三李四参加模拟考试，但张三因为突然想明白人生放弃了英语考试，因此记为None，请据此创建一个DataFrame,命名为ddd3
3. 老师决定根据用数学的分数填充张三的英语成绩，如何实现？
用李四的英语成绩填充张三的英语成绩？
