pd.get_dummies()独热编码和pd.factorize()的用法

离散特征的编码分为两种情况：
1、离散特征的取值之间没有大小的意义，比如color：[red,blue],那么就使用one-hot编码
2、离散特征的取值有大小的意义，比如size:[X,XL,XXL],那么就使用数值的映射{X:1,XL:2,XXL:3}

 

一、pd.get_dummies()

一种字符型或者其他类型编程成一串数字向量，是实现独热编码的方式

pandas.get_dummies(data, prefix=None, prefix_sep='_', dummy_na=False, columns=None, sparse=False, drop_first=False)[source]

注意：get_dummies只会将字段类型是object的列独热编码，数据型的不独热编码

参数说明：

data:需要进行独热编码的数据，包括array,series,df[col]等等

prefix：前缀，可以理解为独热编码后生成的列名的前缀

prefix_sep：分隔符，可以理解为独热编码后生成的列名的分隔符

dummy_na：如果忽略False NaNs，则添加一列来指示NaNs

columns：要编码的DataFrame中的列名称。 如果列为None，则将转换具有object或category dtype的所有列

sparse：是否应该使用SparseArray (True)或常规NumPy数组(False)来支持用dummy编码的列

drop_first：是否通过移除第一个级别来将k-1假人从k个类别级别中取出

import numpy as np
import pandas as pd
df=pd.DataFrame(['green','bule','red','bule','green'],columns=['color'])
pd.get_dummies(df)
pd.get_dummies(df,prefix ='cl')
pd.get_dummies(df,prefix ='cl',prefix_sep = '/')

 如果生成的数据要和df连接，可以时join

 

二、pd.factorize()

factorize英文意思：分解，分解为因数，因式分解的意思

在这里，pd.factorize()做的也是“因式分解”，把常见的字符型变量分解为数字

当类别特征的类别值特别多，如有几十个取值，如果用pd.get_dummies()则会得到好几十列，增加了数据的稀疏性

这时候就推荐使用pd.factorize() ，返回子是一个tuple，第一个是array，第二个是index

import numpy as np
import pandas as pd
df=pd.DataFrame(['green','bule','red','bule','green'],columns=['color'])

pd.factorize(df['color'])  #(array([0, 1, 2, 1, 0], dtype=int64),Index(['green', 'bule', 'red'], dtype='object'))
pd.factorize(df['color'])[0] #array([0, 1, 2, 1, 0], dtype=int64)
pd.factorize(df['color'])[1]  #Index(['green', 'bule', 'red'], dtype='object')