8-Pandas扩展之分类数据处理（分类数据的概念、创建、常用操作）
一、分类数据的概念
1、什么是分类数据
分类数据（Category Data）是指Pandas数据类型为分类类型的数据
分类数据是由固定的且数量有限的变量组成，通常是字符串。例如：
-
- 性别：男、女
- 血型：A型、B型、C型
- 国家：中国、美国、德国
分类数据可以设置逻辑顺序，如：高 > 中 > 低
>>> df = pd.read_excel('C:/Users/xhl/Desktop/input/class.xlsx')
>>> df
class sex score_math score_music
0 A male 95 79
1 A female 96 90
2 B female 85 85
3 C male 93 92
4 B female 84 90
5 B male 88 70
6 C male 59 89
7 A male 88 86
8 B male 89 74
>>> df.dtypes
class object
sex object
score_math int64
score_music int64
dtype: object
使用astype()将性别转换成分类类型
>>> df['sex'].astype('category')
0 male
1 female
2 female
3 male
4 female
5 male
6 male
7 male
8 male
Name: sex, dtype: category
Categories (2, object): [female, male]
2、分类数据的values
分类数据的values值是一个pandas.Categorical对象，而不再是Numpy对象
#未分类时
>>> type(df['sex'].values)
<class 'numpy.ndarray'>
#分类后
>>> type(df['sex'].astype('category').values)
<class 'pandas.core.arrays.categorical.Categorical'>
3、分类数据的属性
包括类别（categories）和编码（codes）两个属性；
分类数据将一个类别映射到一个整数上，其内部数据结构有一个类别数组和一个整数数组构成
>>> sex_cate = df['sex'].astype('category')
>>> sex_cate.values
[male, female, female, male, female, male, male, male, male]
Categories (2, object): [female, male]
#查看类别
>>> sex_cate.values.categories
Index(['female', 'male'], dtype='object')
查看编码
>>> sex_cate.values.codes
array([1, 0, 0, 1, 0, 1, 1, 1, 1], dtype=int8)
4、使用分类数据的好处
分类数据通过将类别进行数字编码，可以大大节省内存的占用，提高运行速度，可使用memory_usage()检验
5、为何使用分类数据？
分类数据可以指定逻辑顺序，并能够进行逻辑顺序上的排序和筛选最大/最小值的操作
使用Series.cat.as_ordered()可设置逻辑顺序，但并没有什么实际含义，并不怎么常用
>>> df['class'].astype('category').cat.as_ordered()
0 A
1 A
2 B
3 C
4 B
5 B
6 C
7 A
8 B
Name: class, dtype: category
Categories (3, object): [A < B < C]
使用Series.cat.set_categories()自定义逻辑顺序，有实际含义
>>> df['class'].astype('category').cat.set_categories(["C","B","A"])
0 A
1 A
2 B
3 C
4 B
5 B
6 C
7 A
8 B
Name: class, dtype: category
Categories (3, object): [C, B, A]
分类数据的排序仍然使用sort_values()
>>> df['class'].astype('category').cat.set_categories(['C','B','A']).sort_values()
3 C
6 C
2 B
4 B
5 B
8 B
0 A
1 A
7 A
Name: class, dtype: category
Categories (3, object): [C, B, A]
筛选最大值与最小值
>>> df['class'].astype('category').cat.as_ordered().min()
'A'
>>> df['class'].astype('category').cat.as_ordered().max()
'C'
二、分类数据的创建
1、通过参数dtype创建分类数据
创建Series或DataFrame时，可指定参数dtype = ‘category’创建Series或DataFrame
#创建Series
>>> s = pd.Series(['female','male','male'],dtype='category')
>>> s
0 female
1 male
2 male
dtype: category
Categories (2, object): [female, male]
#创建DataFrame
>>> df = pd.DataFrame({'sex':['female','male','male'],'grade':list('BAB')},dtype='category')
>>> df
sex grade
0 female B
1 male A
2 male B
>>> df.dtypes
sex category
grade category
dtype: object
2、通过pd.Categorical对象创建分类数据
创建一个pd.Categorical对象，并将其传入Series或者DataFrame，即可创建分类数据
>>> c = pd.Categorical(['C','A','B'])
>>> c
[C, A, B]
Categories (3, object): [A, B, C]
>>> c_df = pd.Categorical({'sex':['female','male','male'],'grade':list('BAB')})
>>> c_df
[sex, grade]
Categories (2, object): [grade, sex]
>>> df = pd.DataFrame({'sex':['female','male','male']})
>>> df['grade'] = c
>>> df
sex grade
0 female C
1 male A
2 male B
>>> df.dtypes
sex object
grade category
dtype: object
在创建pd.Categorical对象时，可以通过参数categoeies指定类别，没被指定的数据则会显示为缺失值
>>> c = pd.Categorical(['C','A','B','A'],categories=['A','B']) >>> s = pd.Series(c) >>> s 0 NaN 1 A 2 B 3 A dtype: category Categories (2, object): [A, B]
3、通过pd.Categorical.from_codes创建分类数据
当已知类别编码时，可通过pd.Categorical.from_codes创建分类数据;
>>> categories = ['female','male'] >>> codes = [1,1,1,0,0,1,0] >>> c = pd.Categorical.from_codes(codes,categories) >>> c [male, male, male, female, female, male, female] Categories (2, object): [female, male] >>> categories = ['female','male','unkonw'] >>> codes = [1,2,0,0,1,0] >>> c = pd.Categorical.from_codes(codes,categories) >>> c [male, unkonw, female, female, male, female] Categories (3, object): [female, male, unkonw]
注意：此时的categories = ['female','male','unkonw']的对应的codes值分别为0,1,2....。
4、通过cut()/qcut()创建分类数据---分类数值型数据
使用cut()/qcut()进行离散化会自动转为分类类型。
>>> math = pd.cut(df['score_math'],[0,60,80,100],right=False) >>> math[:3] 0 [80, 100) 1 [80, 100) 2 [80, 100) Name: score_math, dtype: category Categories (3, interval[int64]): [[0, 60) < [60, 80) < [80, 100)] #使用参数lables修改类别名称 >>> math = pd.cut(df['score_math'],[0,60,80,100],right=False,labels=['C','B','A']) >>> math[:3] 0 A 1 A 2 A Name: score_math, dtype: category Categories (3, object): [C < B < A]
结合groupby()查看分类数据，例：修改后的成绩等级无法看到分数区间的范围，可结合groupby查看各最大值、最小值等：
>>> df['score_math'].groupby(math).agg(['count','max','min'
count max min
score_math
C 1 59.0 59.0
B 0 NaN NaN
A 8 96.0 84.0
三、分类数据的常用操作方法
1、分类数据的特殊属性Series.cat
包含分类数据的Series有很多操作方法，可通过特殊属性Series.cat访问；
通过Series.cat查看其类别categories和编码codes.
>>> s = pd.Series(pd.Categorical(['C','A','B','C'])) >>> s 0 C 1 A 2 B 3 C dtype: category Categories (3, object): [A, B, C] >>> s.cat.categories Index(['A', 'B', 'C'], dtype='object') >>> s.cat.codes 0 2 1 0 2 1 3 2 dtype: int8
2、分类数据的常用操作方法
| 方法 | 说明 |
| rename_categories | 更改类别名称 |
| add_categories | 添加新类别 |
| remove_categories | 删除类别 |
| remove_unused_categories | 删除数据中没有出现的类别 |
| set_categories | 替换、增加和删除类别 |
| as_ordered | 分类数据设置有逻辑顺序 |
| as_unordered | 分类数据设置无逻辑顺序 |
| reorder_categories | 重排分类数数据的顺序 |
（1）更改类别名称-----可通过传入字典的方式进行更改
>>> s1 = s.cat.rename_categories({'A':'grade A','B':'grade B','C':'grade C'})
>>> s1
0 grade C
1 grade A
2 grade B
3 grade C
dtype: category
Categories (3, object): [grade A, grade B, grade C]
（2）添加新类别
>>> s2 = s.cat.add_categories('D')
>>> s2
0 C
1 A
2 B
3 C
dtype: category
Categories (4, object): [A, B, C, D]
（3）删除类别
注意：被删除的类别在数据集中显示值为空值
>>> s3 = s2.cat.remove_categories('D')
>>> s3
0 C
1 A
2 B
3 C
dtype: category
Categories (3, object): [A, B, C]
>>> s4 = s2.cat.remove_categories('A')
>>> s4
0 C
1 NaN
2 B
3 C
dtype: category
Categories (3, object): [B, C, D]
（4）删除数据中没有出现的类别，remove_categories只能删除某一特定的类别，并不能确定哪些类别并未使用过
>>> s2 0 C 1 A 2 B 3 C dtype: category Categories (4, object): [A, B, C, D] >>> s5 = s2.cat.remove_unused_categories() >>> s5 0 C 1 A 2 B 3 C dtype: category Categories (3, object): [A, B, C]
（5）同时添加或删除类别，使用set_categories，只需将需要的类别直接set即可
>>> s6 = s2.cat.set_categories(['B','C','E']) >>> s6 0 C 1 NaN 2 B 3 C dtype: category Categories (3, object): [B, C, E]
（6）设置逻辑顺序
分类数据的逻辑顺序可以通过as_ordered进行设置，也可以通过as_unordered设置为无逻辑顺序
>>> s_ordered = s2.cat.as_ordered() >>> s_ordered 0 C 1 A 2 B 3 C dtype: category Categories (4, object): [A < B < C < D] >>> s_unordered = s_ordered.cat.as_unordered() >>> s_unordered 0 C 1 A 2 B 3 C dtype: category Categories (4, object): [A, B, C, D]
在设置分类数据时，也可通过设置参数ordered = True设置逻辑顺序
>>> s_ordered_new = s2.cat.set_categories(['C','B','A'],ordered=True) >>> s_ordered_new 0 C 1 A 2 B 3 C dtype: category Categories (3, object): [C < B < A]
（7）重排逻辑顺序
方法一：前面已介绍，可通过set_categories自定义逻辑顺序
方法二：通过reorde_categories方法重排逻辑顺序
>>> s_or = s.cat.reorder_categories(['B','C','A'],ordered=True) >>> s_or 0 C 1 A 2 B 3 C dtype: category Categories (3, object): [B < C < A]
注意：使用reorder_categories方法不能添加或删除类别，否则会报错
>>>s.cat.reorder_categories(['B','C','A','D'],ordered=True) ValueError: items in new_categories are not the same as in old categories
