Pandas处理缺失的数据
处理丢失数据
有两种丢失数据：
- None
- np.nan(NaN)
import numpy as np
import pandas
from pandas import DataFrame
1. None
None是Python自带的，其类型为python object。因此，None不能参与到任何计算中。
# 查看None的数据类型
type(None)
NoneType
2. np.nan（NaN）
np.nan是浮点类型，能参与到计算中。但计算的结果总是NaN。
# 查看np.nan的数据类型
type(np.nan)
float
3. pandas中的None与NaN
创建DataFrame
df = DataFrame(data=np.random.randint(0,100,size=(10,8)))
df
| 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | |
|---|---|---|---|---|---|---|---|---|
| 0 | 22 | 13 | 16 | 41 | 81 | 7 | 25 | 86 |
| 1 | 23 | 3 | 57 | 20 | 4 | 58 | 69 | 40 |
| 2 | 35 | 81 | 80 | 63 | 53 | 43 | 20 | 35 |
| 3 | 40 | 14 | 48 | 89 | 34 | 4 | 64 | 46 |
| 4 | 36 | 14 | 62 | 30 | 80 | 99 | 88 | 59 |
| 5 | 9 | 98 | 83 | 81 | 69 | 46 | 39 | 7 |
| 6 | 55 | 88 | 81 | 75 | 35 | 44 | 27 | 64 |
| 7 | 14 | 74 | 24 | 3 | 54 | 99 | 75 | 53 |
| 8 | 24 | 22 | 41 | 68 | 1 | 87 | 46 | 19 |
| 9 | 82 | 10 | 36 | 99 | 85 | 36 | 12 | 83 |
# 将某些数组元素赋值为nan
df.iloc[1,4] = None
df.iloc[3,6] = None
df.iloc[7,7] = None
df.iloc[3,1] = None
df.iloc[5,5] = np.nan
df
| 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | |
|---|---|---|---|---|---|---|---|---|
| 0 | 22 | 13.0 | 16 | 41 | 81.0 | 7.0 | 25.0 | 86.0 |
| 1 | 23 | 3.0 | 57 | 20 | NaN | 58.0 | 69.0 | 40.0 |
| 2 | 35 | 81.0 | 80 | 63 | 53.0 | 43.0 | 20.0 | 35.0 |
| 3 | 40 | NaN | 48 | 89 | 34.0 | 4.0 | NaN | 46.0 |
| 4 | 36 | 14.0 | 62 | 30 | 80.0 | 99.0 | 88.0 | 59.0 |
| 5 | 9 | 98.0 | 83 | 81 | 69.0 | NaN | 39.0 | 7.0 |
| 6 | 55 | 88.0 | 81 | 75 | 35.0 | 44.0 | 27.0 | 64.0 |
| 7 | 14 | 74.0 | 24 | 3 | 54.0 | 99.0 | 75.0 | NaN |
| 8 | 24 | 22.0 | 41 | 68 | 1.0 | 87.0 | 46.0 | 19.0 |
| 9 | 82 | 10.0 | 36 | 99 | 85.0 | 36.0 | 12.0 | 83.0 |
pandas处理空值操作
判断函数
isnull()notnull()
df.isnull() # 为空,显示True
df.notnull() # 不为空,显示True
| 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | |
|---|---|---|---|---|---|---|---|---|
| 0 | True | True | True | True | True | True | True | True |
| 1 | True | True | True | True | False | True | True | True |
| 2 | True | True | True | True | True | True | True | True |
| 3 | True | False | True | True | True | True | False | True |
| 4 | True | True | True | True | True | True | True | True |
| 5 | True | True | True | True | True | False | True | True |
| 6 | True | True | True | True | True | True | True | True |
| 7 | True | True | True | True | True | True | True | False |
| 8 | True | True | True | True | True | True | True | True |
| 9 | True | True | True | True | True | True | True | True |
- df.notnull/ isnull().any()/ all()
df.isnull()
| 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | |
|---|---|---|---|---|---|---|---|---|
| 0 | False | False | False | False | False | False | False | False |
| 1 | False | False | False | False | True | False | False | False |
| 2 | False | False | False | False | False | False | False | False |
| 3 | False | True | False | False | False | False | True | False |
| 4 | False | False | False | False | False | False | False | False |
| 5 | False | False | False | False | False | True | False | False |
| 6 | False | False | False | False | False | False | False | False |
| 7 | False | False | False | False | False | False | False | True |
| 8 | False | False | False | False | False | False | False | False |
| 9 | False | False | False | False | False | False | False | False |
df.isnull().any(axis=1) # any表示or,axis=1表示行,即一行中存在True,即为True
0 False
1 True
2 False
3 True
4 False
5 True
6 False
7 True
8 False
9 False
dtype: bool
df.notnull().all(axis=1) # all表示and,axis=1表示行,即一行中全为True,才为True
0 True
1 False
2 True
3 False
4 True
5 False
6 True
7 False
8 True
9 True
dtype: bool
df.loc[~df.isnull().any(axis=1)] # ~表示取反
往往这样搭配:
- isnull()->any
- notnull()->all
df.dropna() 可以选择过滤的是行还是列（默认为行）:axis中0表示行，1表示的列
df.dropna(axis=0)
| 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | |
|---|---|---|---|---|---|---|---|---|
| 0 | 22 | 13.0 | 16 | 41 | 81.0 | 7.0 | 25.0 | 86.0 |
| 2 | 35 | 81.0 | 80 | 63 | 53.0 | 43.0 | 20.0 | 35.0 |
| 4 | 36 | 14.0 | 62 | 30 | 80.0 | 99.0 | 88.0 | 59.0 |
| 6 | 55 | 88.0 | 81 | 75 | 35.0 | 44.0 | 27.0 | 64.0 |
| 8 | 24 | 22.0 | 41 | 68 | 1.0 | 87.0 | 46.0 | 19.0 |
| 9 | 82 | 10.0 | 36 | 99 | 85.0 | 36.0 | 12.0 | 83.0 |
填充函数 Series/DataFrame
fillna():value和method参数
df
| 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | |
|---|---|---|---|---|---|---|---|---|
| 0 | 22 | 13.0 | 16 | 41 | 81.0 | 7.0 | 25.0 | 86.0 |
| 1 | 23 | 3.0 | 57 | 20 | NaN | 58.0 | 69.0 | 40.0 |
| 2 | 35 | 81.0 | 80 | 63 | 53.0 | 43.0 | 20.0 | 35.0 |
| 3 | 40 | NaN | 48 | 89 | 34.0 | 4.0 | NaN | 46.0 |
| 4 | 36 | 14.0 | 62 | 30 | 80.0 | 99.0 | 88.0 | 59.0 |
| 5 | 9 | 98.0 | 83 | 81 | 69.0 | NaN | 39.0 | 7.0 |
| 6 | 55 | 88.0 | 81 | 75 | 35.0 | 44.0 | 27.0 | 64.0 |
| 7 | 14 | 74.0 | 24 | 3 | 54.0 | 99.0 | 75.0 | NaN |
| 8 | 24 | 22.0 | 41 | 68 | 1.0 | 87.0 | 46.0 | 19.0 |
| 9 | 82 | 10.0 | 36 | 99 | 85.0 | 36.0 | 12.0 | 83.0 |
# bfill表示后, ffill表示前
# axis表示方向: 0:上下, 1:左右
df_test = df.fillna(method='bfill',axis=1).fillna(method='ffill',axis=1)
df_test
| 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | |
|---|---|---|---|---|---|---|---|---|
| 0 | 22.0 | 13.0 | 16.0 | 41.0 | 81.0 | 7.0 | 25.0 | 86.0 |
| 1 | 23.0 | 3.0 | 57.0 | 20.0 | 58.0 | 58.0 | 69.0 | 40.0 |
| 2 | 35.0 | 81.0 | 80.0 | 63.0 | 53.0 | 43.0 | 20.0 | 35.0 |
| 3 | 40.0 | 48.0 | 48.0 | 89.0 | 34.0 | 4.0 | 46.0 | 46.0 |
| 4 | 36.0 | 14.0 | 62.0 | 30.0 | 80.0 | 99.0 | 88.0 | 59.0 |
| 5 | 9.0 | 98.0 | 83.0 | 81.0 | 69.0 | 39.0 | 39.0 | 7.0 |
| 6 | 55.0 | 88.0 | 81.0 | 75.0 | 35.0 | 44.0 | 27.0 | 64.0 |
| 7 | 14.0 | 74.0 | 24.0 | 3.0 | 54.0 | 99.0 | 75.0 | 75.0 |
| 8 | 24.0 | 22.0 | 41.0 | 68.0 | 1.0 | 87.0 | 46.0 | 19.0 |
| 9 | 82.0 | 10.0 | 36.0 | 99.0 | 85.0 | 36.0 | 12.0 | 83.0 |
# 测试df_test中的哪些列中还有空值
df_test.isnull().any(axis=0)
0 False
1 False
2 False
3 False
4 False
5 False
6 False
7 False
dtype: bool
