pandas简介
Pandas的数据结构
导入pandas：
三剑客
import pandas as pd
from pandas import Series,DataFrame
import numpy as np
1、Series
Series是一种类似与一维数组的对象，由下面两个部分组成：
- values：一组数据（ndarray类型）
- index：相关的数据索引标签
1）Series的创建
两种创建方式：
(1) 由列表或numpy数组创建
默认索引为0到N-1的整数型索引
#使用列表创建Series 隐式索引
s1 = Series(data=[1,2,3,4,5])
s2 = Series(data=[1,2,3,4,5],index=['a','b','c','d','e'])
s1[0]
1
s2['a']
s2[1]
2
#使用numpy创建Series
s3 = Series(data=np.random.randint(0,100,size=(9,)))
s3
0 60
1 73
2 9
3 23
4 93
5 52
6 91
7 67
8 36
Name: haha, dtype: int32
- 还可以通过设置index参数指定索引
(2) 由字典创建:不能在使用index.但是依然存在默认索引
注意：数据源必须为一维数据
dic = {
'English':100,
'math':30
}
Series(data=dic)
English 100
math 30
dtype: int64
============================================
练习1：
使用多种方法创建以下Series，命名为s1：
语文 150
数学 150
英语 150
理综 300
============================================
2）Series的索引和切片
可以使用中括号取单个索引（此时返回的是元素类型），或者中括号里一个列表取多个索引（此时返回的是一个Series类型）。
(1) 显式索引：
- 使用index中的元素作为索引值
- 使用s.loc[]（推荐）:注意，loc中括号中放置的一定是显示索引
注意，此时是闭区间
s2
a 1
b 2
c 3
d 4
e 5
dtype: int64
s2[['a','b','c']]
a 1
b 2
c 3
dtype: int64
s2.iloc[0:3]
a 1
b 2
c 3
dtype: int64
(2) 隐式索引：
- 使用整数作为索引值
- 使用.iloc[]（推荐）:iloc中的中括号中必须放置隐式索引
注意，此时是半开区间
切片:隐式索引切片和显示索引切片
-
显示索引切片:index和loc
-
隐式索引切片：整数索引值和iloc
3）Series的基本概念
可以把Series看成一个定长的有序字典
向Series增加一行：相当于给字典增加一组键值对
s2['aaa'] = 1000
s2
a 1
b 2
c 3
d 4
e 5
aaa 1000
dtype: int64
可以通过shape，size，index,values等得到series的属性
s2.values
array([ 1, 2, 3, 4, 5, 1000], dtype=int64)
可以使用s.head(),tail()分别查看前n个和后n个值
s2.tail(3)
d 4
e 5
aaa 1000
dtype: int64
对Series元素进行去重
s = Series(data=[1,1,1,2,2,2,3,4,5,6,6,6,6,8,9,7,7,7,4,4,3])
s
0 1
1 1
2 1
3 2
4 2
5 2
6 3
7 4
8 5
9 6
10 6
11 6
12 6
13 8
14 9
15 7
16 7
17 7
18 4
19 4
20 3
dtype: int64
s.unique()
array([1, 2, 3, 4, 5, 6, 8, 9, 7], dtype=int64)
当索引没有对应的值时，可能出现缺失数据显示NaN（not a number）的情况
- 使得两个Series进行相加
s1 = Series(data=[1,2,3,4,5],index=['a','b','c','e','f'])
display(s1,s2)
a 1
b 2
c 3
e 4
f 5
dtype: int64
a 1
b 2
c 3
d 4
e 5
aaa 1000
dtype: int64
s = s1 + s2
s
a 2.0
aaa NaN
b 4.0
c 6.0
d NaN
e 9.0
f NaN
dtype: float64
可以使用pd.isnull()，pd.notnull()，或s.isnull(),notnull()函数检测缺失数据
s.isnull()
a False
aaa True
b False
c False
d True
e False
f True
dtype: bool
s.notnull()
a True
aaa False
b True
c True
d False
e True
f False
dtype: bool
s
a 2.0
aaa NaN
b 4.0
c 6.0
d NaN
e 9.0
f NaN
dtype: float64
s[[True,False,True,True,False,True,False]]
a 2.0
b 4.0
c 6.0
e 9.0
dtype: float64
s.notnull()
a True
aaa False
b True
c True
d False
e True
f False
dtype: bool
s[s.notnull()]
a 2.0
b 4.0
c 6.0
e 9.0
dtype: float64
4）Series的运算
(1) + - * /
(2) add() sub() mul() div() : s1.add(s2,fill_value=0)
(3) Series之间的运算
- 在运算中自动对齐不同索引的数据
- 如果索引不对应，则补NaN
============================================
练习3：
-
想一想Series运算和ndarray运算的规则有什么不同？
-
新建另一个索引包含“文综”的Series s2，并与s2进行多种算术操作。
============================================
2、DataFrame
DataFrame是一个【表格型】的数据结构。DataFrame由按一定顺序排列的多列数据组成。设计初衷是将Series的使用场景从一维拓展到多维。DataFrame既有行索引，也有列索引。
- 行索引：index
- 列索引：columns
- 值：values
1）DataFrame的创建
最常用的方法是传递一个字典来创建。DataFrame以字典的键作为每一【列】的名称，以字典的值（一个数组）作为每一列。
此外，DataFrame会自动加上每一行的索引。
使用字典创建的DataFrame后，则columns参数将不可被使用。
同Series一样，若传入的列与字典的键不匹配，则相应的值为NaN。
df = DataFrame(data=np.random.randint(60,120,size=(3,3)),index=['a','b','c'],columns=['A','B','C'])
- 使用ndarray创建DataFrame
DataFrame属性：values、columns、index、shape
df.shape
(3, 3)
使用ndarray创建DataFrame：创建一个表格用于展示张三，李四，王五的java，python的成绩
dic = {
'张三':[150,150,150,150],
'李四':[0,0,0,0],
}
df = DataFrame(data=dic,index=['语文','数学','英语','理综'])
df
| 张三 | 李四 | |
|---|---|---|
| 语文 | 150 | 0 |
| 数学 | 150 | 0 |
| 英语 | 150 | 0 |
| 理综 | 150 | 0 |
============================================
练习4：
根据以下考试成绩表，创建一个DataFrame，命名为df：
张三 李四
语文 150 0
数学 150 0
英语 150 0
理综 300 0
============================================
2）DataFrame的索引
(1) 对列进行索引
- 通过类似字典的方式 df['q']
- 通过属性的方式 df.q
可以将DataFrame的列获取为一个Series。返回的Series拥有原DataFrame相同的索引，且name属性也已经设置好了，就是相应的列名。
#修改列索引
df.columns = ['zhangsan','lisi']
df
| zhangsan | lisi | |
|---|---|---|
| 语文 | 150 | 0 |
| 数学 | 150 | 0 |
| 英语 | 150 | 0 |
| 理综 | 150 | 0 |
#获取前两列
df[['lisi','zhangsan']]
| lisi | zhangsan | |
|---|---|---|
| 语文 | 0 | 150 |
| 数学 | 0 | 150 |
| 英语 | 0 | 150 |
| 理综 | 0 | 150 |
(2) 对行进行索引
- 使用.loc[]加index来进行行索引
- 使用.iloc[]加整数来进行行索引
同样返回一个Series，index为原来的columns。
df.loc['语文']
df.iloc[0]
zhangsan 150
lisi 0
Name: 语文, dtype: int64
(3) 对元素索引的方法
- 使用列索引
- 使用行索引(iloc[3,1] or loc['C','q']) 行索引在前，列索引在后
df.loc[['数学','英语'],'zhangsan']
数学 150
英语 150
Name: zhangsan, dtype: int64
df
| zhangsan | lisi | |
|---|---|---|
| 语文 | 150 | 0 |
| 数学 | 150 | 0 |
| 英语 | 150 | 0 |
| 理综 | 150 | 0 |
df.iloc[:,1]
语文 0
数学 0
英语 0
理综 0
Name: lisi, dtype: int64
切片：
【注意】
直接用中括号时：
- 索引表示的是列索引
- 切片表示的是行切片
df
| zhangsan | lisi | |
|---|---|---|
| 语文 | 150 | 0 |
| 数学 | 150 | 0 |
| 英语 | 150 | 0 |
| 理综 | 150 | 0 |
#切前两行
df[0:2]
| zhangsan | lisi | |
|---|---|---|
| 语文 | 150 | 0 |
| 数学 | 150 | 0 |
在loc和iloc中使用切片(切列) ： df.loc['B':'C','丙':'丁']
df.iloc[:,0:2]
| zhangsan | lisi | |
|---|---|---|
| 语文 | 150 | 0 |
| 数学 | 150 | 0 |
| 英语 | 150 | 0 |
| 理综 | 150 | 0 |
============================================
练习5：
使用多种方法对ddd进行索引和切片，并比较其中的区别
============================================
df
| zhangsan | lisi | |
|---|---|---|
| 语文 | 150 | 0 |
| 数学 | 150 | 0 |
| 英语 | 150 | 0 |
| 理综 | 150 | 0 |
#通过索引取出lisi这一列
df['lisi']
语文 0
数学 0
英语 0
理综 0
Name: lisi, dtype: int64
#通过切片切出前两列
df.loc[:,'zhangsan':'lisi']
| zhangsan | lisi | |
|---|---|---|
| 语文 | 150 | 0 |
| 数学 | 150 | 0 |
| 英语 | 150 | 0 |
| 理综 | 150 | 0 |
#通过索引的操作取出语文和数学这两行
df.loc[['语文','数学']]
| zhangsan | lisi | |
|---|---|---|
| 语文 | 150 | 0 |
| 数学 | 150 | 0 |
#切片取行
df['语文':'数学']
| zhangsan | lisi | |
|---|---|---|
| 语文 | 150 | 0 |
| 数学 | 150 | 0 |
#通过索引取元素
df.loc['语文','zhangsan']
150
3）DataFrame的运算
（1） DataFrame之间的运算
同Series一样：
- 在运算中自动对齐不同索引的数据
- 如果索引不对应，则补NaN
df + df
| zhangsan | lisi | |
|---|---|---|
| 语文 | 300 | 0 |
| 数学 | 300 | 0 |
| 英语 | 300 | 0 |
| 理综 | 300 | 0 |
创建DataFrame df1 不同人员的各科目成绩，月考一
创建DataFrame df2 不同人员的各科目成绩，月考二
有新学生转入
============================================
练习6：
-
假设ddd是期中考试成绩，ddd2是期末考试成绩，请自由创建ddd2，并将其与ddd相加，求期中期末平均值。
-
假设张三期中考试数学被发现作弊，要记为0分，如何实现？
-
李四因为举报张三作弊立功，期中考试所有科目加100分，如何实现？
-
后来老师发现有一道题出错了，为了安抚学生情绪，给每位学生每个科目都加10分，如何实现？
============================================
df
| zhangsan | lisi | |
|---|---|---|
| 语文 | 150 | 0 |
| 数学 | 150 | 0 |
| 英语 | 150 | 0 |
| 理综 | 150 | 0 |
qizhong = df
qimo = df
qimo['zhangsan'] = [145,140,150,133]
qimo
| zhangsan | lisi | |
|---|---|---|
| 语文 | 145 | 0 |
| 数学 | 140 | 0 |
| 英语 | 150 | 0 |
| 理综 | 133 | 0 |
(qizhong+qimo)/2
| zhangsan | lisi | |
|---|---|---|
| 语文 | 145 | 0 |
| 数学 | 140 | 0 |
| 英语 | 150 | 0 |
| 理综 | 133 | 0 |
qizhong.loc['数学','zhangsan'] = 0
qizhong
| zhangsan | lisi | |
|---|---|---|
| 语文 | 145 | 0 |
| 数学 | 0 | 0 |
| 英语 | 150 | 0 |
| 理综 | 133 | 0 |
qizhong['lisi'] = qizhong['lisi'] + 100
qizhong
| zhangsan | lisi | |
|---|---|---|
| 语文 | 145 | 100 |
| 数学 | 0 | 100 |
| 英语 | 150 | 100 |
| 理综 | 133 | 100 |
qizhong = qizhong+10
qizhong
| zhangsan | lisi | |
|---|---|---|
| 语文 | 155 | 110 |
| 数学 | 10 | 110 |
| 英语 | 160 | 110 |
| 理综 | 143 | 110 |
