完整数据分析流程:Python中的Pandas如何解决业务问题
开篇
作为万金油式的胶水语言,Python几乎无所不能,在数据科学领域的作用更是不可取代。数据分析硬实力中,Python是一个非常值得投入学习的工具。
这其中,数据分析师用得最多的模块非Pandas莫属,如果你已经在接触它了,不妨一起来通过完整的数据分析流程,探索Pandas是如何解决业务问题的。
数据背景
为了能尽量多地使用不同的Pandas函数,我设计了一个古古怪怪但是实际中又很真实的数据,说白了就是比较多不规范的地方,等着我们去清洗。
数据源是改编自一家超市的订单,文末附文件路径。
导入所需模块
import pandas as pd
数据导入
Pandas提供了丰富的数据IO接口,其中最常用的是pd.read_excel
及pd.read_csv
函数。
data = pd.read_excel('文件路径.xlsx',
sheet_name='分页名称')
data = pd.read_csv('文件路径.csv')
从超市数据集中把多页数据分别导入:
orders = pd.read_excel('超市数据集.xlsx',
sheet_name= '订单表')
customers = pd.read_excel('超市数据集.xlsx',
sheet_name= '客户表')
products = pd.read_excel('超市数据集.xlsx',
sheet_name= '产品表')
该环节除了导入数据外,还需要对数据有初步的认识,明确有哪些字段,及其定义
这里我们通过 pd.Series.head()
来查看每个数据表格的字段及示例数据
明确业务问题及分析思路
在业务分析实战中,在开始分析之前,需要先明确分析目标,倒推分析方法、分析指标,再倒推出所需数据。
这就是「以终为始」的落地思维。
假设业务需求是通过用户分层运营、形成差异化用户运营策略。数据分析师评估后认为可基于RFM用户价值模型对顾客进行分群,并通过不同族群画像特征制定运营策略,比如重要价值用户属于金字塔顶端人群,需要提供高成本、价值感的会员服务;而一般价值用户属于价格敏感型的忠诚顾客,需要通过折扣刺激消费等。
因此,这里的分析方法则是对存量用户进行RFM模型分群,并通过统计各族群数据特征,为业务提供策略建议。
明确业务需求及分析方法后,我们才能确定去统计顾客的R、F、M、以及用于画像分析的客单价等指标,此时才能进入下一步。
特征工程与数据清洗
数据科学中有句话叫 "Garbage In, Garbage Out",意思是说如果用于分析的数据质量差、存在许多错误,那么即使分析的模型方法再缜密复杂,都不能变出花来,结果仍是不可用的。
所以也就有了数据科家中80%的工作都是在做数据预处理工作的说法。
特征工程主要应用在机器学习算法模型过程,是为使模型效果最佳而进行的系统工程,包括数据预处理(Data PrePorcessing)、特征提取(Feature Extraction)、特征选择(Feature Selection)以及特征构造(Feature Construction)等问题。
直白地说,可以分成两部分:
- 数据预处理,可以理解成我们常说的数据清洗;
- 特征构造,比如此次构建RFM模型及分组用户画像中,R、F、M、客单价等标签就是其对应的特征。
(当然,RFM非机器学习模型,这里是为了便于理解进行的解释。)
数据清洗
什么是数据清洗?
数据清洗是指找出数据中的「异常值」并「处理」它们,使数据应用层面的结论更贴近真实业务。
异常值:
- 不规范的数据,如空值、重复数据、无用字段等,需要注意是否存在不合理的值,比如订单数据中存在内部测试订单、有超过200岁年龄的顾客等
- 特别注意数据格式是否合理,否则会影响表格合并报错、聚合统计报错等问题
- 不符合业务分析场景的数据,比如要分析2019-2021年的用户行为,则在此时间段之外的行为都不应该被纳入分析
如何处理:
- 一般情况下,对于异常值,直接剔除即可
- 但对于数据相对不多,或该特征比较重要的情况下,异常值可以通过用平均值替代等更丰富的方式处理
在了解数据清洗的含义后,我们便可以开始用Pandas来实操该部分内容。
数据类型
先用pd.dtypes
来检查数据字段是否合理
发现订单日期、数量是Object(一般即是字符)类型,后面无法用它们进行运算,需要通过pd.Series.astype()
或pd.Series.apply()
方法来修改字符类型
orders['订单日期'] = orders['订单日期'].astype('datetime64')
orders['数量'] = orders['数量'].apply(int)
另外,对时间类型的处理也可以通过pd.to_datetime
进行:
orders['订单日期'] = pd.to_datetime(orders['订单日期'])
修改字段名
经验丰富的数据分析师发现字段名字也有问题,订单 Id
存在空格不便于后面的引用,需要通过pd.rename()
来修改字段名
orders = orders.rename(columns={'订单 Id':'订单ID',
'客户 Id':'客户ID',
'产品 Id':'产品ID'})
customers = customers.rename(columns={'客户 Id':'客户ID'})
多表连接
把字段名以及数据类型处理好后,就可以用pd.merge
将多个表格进行连接。
表连接中的on
有两种方式,一种是两个表用于连接的字段名是相同的,直接用on
即可,如果是不相同,则要用left_on, right_on
进行。
data = orders.merge(customers, on='客户ID', how='left')
data = data.merge(products, how='left',
left_on='产品ID', right_on='物料号')
剔除多余字段
对于第二种情况,得到的表就会存在两列相同含义但名字不同的字段,需要用pd.drop
剔除多余字段。此外,“行 Id”在这里属于无用字段,一并剔除掉。
data.drop(['物料号','行 Id'],axis=1,
inplace=True)
调整后得到的表结构:
文本处理——剔除不符合业务场景数据
根据业务经验,订单表中可能会存在一些内部测试用的数据,它们会对分析结论产生影响,需要把它们找出来剔除。与业务或运维沟通后,明确测试订单的标识是在“产品名称”列中带“测试”的字样。
因为是文本内容,需要通过pd.Series.str.contains
把它们找到并剔除
data = data[~data['产品名称'].str.contains('测试')]
时间处理——剔除非分析范围数据
影响消费者的因素具有时间窗口递减的特性,例如你10年前买了顶可可爱爱的帽子,不代表你今天还需要可可爱爱风格的产品,因为10年时间足以让你发生许多改变;但是如果你10天以前才买了田园风的裙子,那么就可以相信你现在还会喜欢田园风产品,因为你偏好的风格在短期内不会有太大改变。
也就是说,在用户行为分析中,行为数据具有一定时效,因此需要结合业务场景明确时间范围后,再用pd.Series.between()
来筛选近符合时间范围的订单数据进行RFM建模分析。
data= data[data['订单日期'].between('2019-01-01','2021-08-13')]
特征构造
此环节目的在于构造分析模型,也就是RFM模型及分群画像分析所需的特征字段。
数据聚合——顾客消费特征
首先,是RFM模型中顾客的消费特征:
- R:客户最近一次购买离分析日期 (设为2021-08-14)的距离,用以判断购买用户活跃状态
- F:客户消费频次
- M:客户消费金额
这些都是一段时间内消费数据的聚合,所以可以用pd.groupby().agg()
实现
consume_df = data.groupby('客户ID').agg(累计消费金额=('销售额',sum),
累计消费件数=('数量',sum),
累计消费次数=('订单日期', pd.Series.nunique),
最近消费日期=('订单日期',max)
)
其中,R值比较特殊,需要借用datetime模块,计算日期之间的距离
from datetime import datetime
consume_df['休眠天数'] = datetime(2021,8,14) - consume_df['最近消费日期']
consume_df['休眠天数'] = consume_df['休眠天数'].map(lambda x:x.days)
计算所得顾客累计消费数据统计表:
分箱处理——客单价区间划分
根据前面分析思路所述,完成RFM模型用户分群后,还要统计各族群用户消费画像,这里因篇幅限制仅统计各族群客单价分布特征。
此时,计算完客单价数据后,需要用pd.cut
对客单价进行分箱操作,形成价格区间。
consume_df['客单价'] = consume_df['累计消费金额']/consume_df['累计消费次数']
consume_df['客单价区间'] = pd.cut(consume_df['客单价'],bins=5)
通过pd.Series.value_counts
方法统计客单价区间分布情况:
pd.cut
中的bins参数为将客单价划分的区间数,填入5,则平均分为5档。当然,还是那句话,这个在实操中需要与业务明确,或结合业务场景确定。
RFM建模
完成数据清洗及特征构造后,就进入到建模分析环节。
Tukey's Test 离群值检测
根据分析经验,离群值会极大地对统计指标造成影响,产生较大误差,例如把马云放到你们班里,计算得出班级平均资产上百亿。在这里,马云就是离群值,要把它剔除出去。
所以,在开始对RFM阈值进行计算之前,有必要先对R、F、M的值进行离群值检测。
这里我们用Turkey's Test 方法,简单来说就是通过分位数之间的运算形成数值区间,将在此区间之外的数据标记为离群值。不清楚的同学可以知乎搜一下,这里不展开讲。
Turkey's Test方法依赖分位数的计算,在Pandas,通过pd.Series.quantile
计算分位数
def turkeys_test(fea):
Q3 = consume_df[fea].quantile(0.75)
Q1 = consume_df[fea].quantile(0.25)
max_ = Q3+1.5*(Q3-Q1)
min_ = Q1-1.5*(Q3-Q1)
if min_<0:
min_ =0
return max_, min_
以上代码实现了Tukey's Test函数,其中Q3就是75分位、Q1就是25分位。而min_ 和 max_则形成合理值区间,在此区间之外的数据,不论太高还是太低还是离群值。
注意,在这里因为存在min_是负数的情况,而消费数据不可能是负数,所以补充了一个把转为0的操作。
接下来,给RFM特征数据表新增字段"是否异常",默认值为0,然后再用Tukey's Test函数把异常数据标记为1,最后只需保留值为0的数据即可。
consume_df['是否异常'] = 0
for fea in rfm_features:
max_, min_= turkeys_test(fea)
outlet = consume_df[fea].between(min_,max_) #bool
consume_df.loc[~outlet,'是否异常']=1
consume_df = consume_df[consume_df['是否异常']==0]
聚类与二八原则——RFM阈值计算
现在已经可以确保建模所用的特征是有效的,此时就需要计算各指标阈值,用于RFM建模。阈值的计算一般通过聚类算法进行,但这里不涉及机器学习算法。从本质上讲,聚类结果通常是符合二八原则的,也就是说重要客群应该只占20%,所以我们可以计算80分位数来近似作为RFM模型阈值。
M_threshold = consume_df['累计消费金额'].quantile(0.8)
F_threshold=consume_df['累计消费次数'].quantile(0.8)
R_threshold = consume_df['休眠天数'].quantile(0.2)
RFM模型计算
得到RFM阈值后,即可将顾客的RFM特征进行计算,超过阈值的则为1,低于阈值的则为0,其中R值计算逻辑相反,因为R值是休眠天数,数值越大反而代表越不活跃。
consume_df['R'] = consume_df['休眠天数'].map(lambda x:1 if x<R_threshold else 0)
consume_df['F'] = consume_df['累计消费次数'].map(lambda x:1 if x>F_threshold else 0)
consume_df['M'] = consume_df['累计消费金额'].map(lambda x:1 if x>M_threshold else 0)
对顾客RFM特征划分1和0,即高与低后,即可进行分群计算:
consume_df['RFM'] = consume_df['R'].apply(str)+'-' + consume_df['F'].apply(str)+'-'+ consume_df['M'].apply(str)
rfm_dict = {
'1-1-1':'重要价值用户',
'1-0-1':'重要发展用户',
'0-1-1':'重要保持用户',
'0-0-1':'重要挽留用户',
'1-1-0':'一般价值用户',
'1-0-0':'一般发展用户',
'0-1-0':'一般保持用户',
'0-0-0':'一般挽留用户'
}
consume_df['RFM人群'] = consume_df['RFM'].map(lambda x:rfm_dict[x])
至此,已完成RFM建模及用户分群计算。
分群画像
完成模型分群后,就要对各族群分别统计人数及客单价分布。
人数占比
最简单的一个画像分析,则是用pd.Series.value_counts
对各族群进行人数统计,分析相对占比大小。
rfm_analysis = pd.DataFrame(consume_df['RFM人群'].value_counts()).rename(columns={'RFM人群':'人数'})
rfm_analysis['人群占比'] = (rfm_analysis['人数']/rfm_analysis['人数'].sum()).map(lambda x:'%.2f%%'%(x*100))
透视表
各族群客单价分布涉及多维度分析,可以通过Pandas透视功能pd.pivot_table
实现
代码中,聚合函数aggfunc我用了pd.Series.nunique
方法,是对值进行去重计数的意思,在这里就是对客户ID进行去重计数,统计各价位段的顾客数。
pd.pivot_table(consume_df.reset_index(), # DataFrame
values='客户ID', # 值
index='RFM人群', # 分类汇总依据
columns='客单价区间', # 列
aggfunc=pd.Series.nunique, # 聚合函数
fill_value=0, # 对缺失值的填充
margins=True, # 是否启用总计行/列
dropna=False, # 删除缺失
margins_name='All' # 总计行/列的名称
).sort_values(by='All',ascending=False)
这样就得到了每个族群在不同价位段上的分布,配合其他维度的画像分析可以进一步形成营销策略。
逆透视表
最后,做个骚操作,就是透视后的表属于多维度表格,但我们要导入到PowerBI等工具进行可视化分析时,需要用pd.melt
将它们逆透视成一维表。
pivot_table.melt(id_vars='RFM人群',
value_vars=['(124.359, 3871.2]', '(3871.2, 7599.4]',
'(7599.4, 11327.6]', '(11327.6, 15055.8]',
'(15055.8, 18784.0]']).sort_values(by=['RFM人群','variable'],ascending=False)
这样字段名为"人群"、"指标"、"值"的表格,可以一行就把信息呈现的表格就是一维表。而前面各族群人数统计中,需要一行一列来定位信息的就是二维表。
结尾
至此,我们已经通过Pandas建立了RFM模型及分组人群画像分析,完成了业务分析需求。
受限于篇幅,本文仅对数据分析过程中Pandas高频使用的函数方法进行了演示,同样重要的还有整个分析过程。如果其中对某些函数不熟悉,鼓励同学多利用知乎或搜索引擎补充学习。同时也欢迎加饼干哥哥微信讨论。
更多Pandas函数使用说明,可查询中文文档
本文算是数据分析流程的基础篇,计划会再整理一份进阶篇,涉及机器学习流程、以及更多特征工程内容,同样会以业务落地实战的方式进行介绍。