电商平台零售数据分析
1电商平台零售数据分析
环境为Anaconda3，Python3.8，用JupyterNotebook写的
数据文件在百度网盘
链接：https://pan.baidu.com/s/1DwWF4Vpduj8SqRUUezt4ew
提取码：2222
import plotly as py
py.offline.init_notebook_mode()
pyplot = py.offline.iplot
import plotly.graph_objs as go
from plotly.graph_objs import Scatter
from scipy import stats
import pandas as pd
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt
import os
os.chdir(r'E:\2020年Python数据分析师特训营全套84节视频完结版（就业向零基础友好）\2020年Python数据分析师特训营全套84节视频完结版')
df = pd.read_excel('超市数据.xlsx', dtype= {'Row ID':str})
df
#缺失率
df.apply(lambda x:sum(x.isnull())/len(x),axis=0)
#拷贝原文件为df1，防止数据丢失
df1 = df.copy()
df1
#去掉有缺失值的数据
df1.dropna(how='any')
# #去掉指定的两列
# df1.drop(['Unnamed: 24','Unnamed: 25'],axis=1,inplace=True)
#将Shipping Cost这一列中的缺失值替换为U
df['Shipping Cost'] = df['Shipping Cost'].fillna('U')
#先导入re模块，可以使用split一次加入多个切割条件
import re
#取出Ship Date这一列的每行字符串中以/分隔开的第一、二、三个元素
df1['ship_day'] = [re.split('\/|\-',x)[0] for x in df1['Ship Date']]
df1['ship_month'] = [re.split('\/|\-',x)[1] for x in df1['Ship Date']]
df1['ship_year'] = [re.split('\/|\-',x)[2] for x in df1['Ship Date']]
#将Order Date转换为datetime格式
df1['Order Date'] = pd.to_datetime(df1['Order Date'],errors='coerce')
df1['Order Date'] = df1['Order Date'].dt.date
#去重
df1 = df1.drop_duplicates()
#查看数据类型
df1.info()
#异常值处理之前先探索数据
df1.describe()
#将Sales Quantity Profit转换为float64
df1['Sales'] = pd.to_numeric(df1['Sales'], errors='coerce')
df1['Quantity'] = pd.to_numeric(df1['Quantity'], errors='coerce')
df1['Profit'] = pd.to_numeric(df1['Profit'], errors='coerce')
#计算Sales*Quantity保存为新的一列Price
df1['Price'] = df1.apply(lambda x:x['Sales']*x['Quantity'],axis=1)
df1.info()
df1
#异常值处理
df3 = df1.loc[df1['Quantity']<=0]
#计算异常值占比
df3.shape[0]/df1.shape[0]
#对异常值中的数量分类计数
df3['Quantity'].groupby(df3['Quantity']).count()
#df3中不同的年对应的不同的月份的退货金额
tt=pd.pivot_table(df3,index=['ship_year'],columns=['ship_month'],values=['Price'],aggfunc={'Price':np.sum},margins=False)
tt
#计算Profit>0的数量Quantity并按照State分组求和，按照降序排列，显示前十行，保存为quantity_first_10
quantity_first_10=df1[df1['Profit']>0].groupby(by='State').sum()['Quantity'].sort_values(ascending=False).head(10)
#画图
trace_basic=[go.Bar(x=quantity_first_10.index.tolist(),y=quantity_first_10.values.tolist(),marker=dict(color='orange'),opacity=0.50)]
layout=go.Layout(title='购买数量前十的国家',xaxis=dict(title='国家'))
figure_basic=go.Figure(data=trace_basic,layout=layout)
pyplot(figure_basic)
#交易额前十
price_first_10=df1[df1['Profit']>0].groupby(by='State').sum()['Price'].sort_values(ascending=False).head(10)
trace_basic1=[go.Bar(x=price_first_10.index.tolist(),y=price_first_10.values.tolist(),marker=dict(color='orange'),opacity=0.50)]
layout1=go.Layout(title='交易额前十的国家',xaxis=dict(title='国家'))
figure_basic1=go.Figure(data=trace_basic1,layout=layout1)
pyplot(figure_basic1)
#将Order Date转换为datetime格式
df1['Order Date'] = pd.to_datetime(df['Order Date'],errors='coerce')
#提取Order Date中的月份
df1['Month'] = df1['Order Date'].dt.month
#十二个月份盈利
profit_12=df1[df1['Profit']>0].groupby(by='Month').sum()['Profit'].sort_values(ascending=False)
trace_basic2=[go.Bar(x=profit_12.index.tolist(),y=profit_12.values.tolist(),marker=dict(color='orange'),opacity=0.50)]
layout2=go.Layout(title='十二个月份盈利条形图',xaxis=dict(title='月份'))
figure_basic2=go.Figure(data=trace_basic2,layout=layout2)
pyplot(figure_basic2)
#seaborn画图
sns.set(style='darkgrid',context='notebook',font_scale=1.2)
profit_12=df1[df1['Profit']>0].groupby(by='Month').sum()['Profit'].sort_values(ascending=False).plot(kind='bar')
#把x轴月份数字正过来
plt.xticks(rotation=360)
#客单价，就是每个客户的消费金额
#客单价 = 总消费金额 / 订单总量
#总消费金额
sum_price = df1[df1['Quantity']>0]['Price'].sum()
#计算客户ID数量
count_ID = df1[df1['Quantity']>0]['Customer ID'].count()
#客单价
avgprice = sum_price/count_ID
print(avgprice)
#客户ID去重计数
count_ID1=df1[df1['Quantity']>0]['Customer ID'].drop_duplicates().count()
print(count_ID1)
#按照 Customer ID聚合时，对Row ID去重计算下单次数，对Quantity和Price求和
customer=df1[df1['Quantity']>0].groupby('Customer ID').agg({'Row ID':'nunique','Quantity':np.sum,'Price':np.sum})
print(customer)
customer.describe()
#df2是取出df1中既满足['Quantity']>0又满足['Sales']>0的数据
df2 = df1[(df1['Quantity']>0) & (df1['Sales']>0)]
#RFM
# R_value是用户最近一次交易距今的时间
#按照Customer ID分类选出Order Date的最大值
R_value = df2.groupby('Customer ID')['Order Date'].max()
# Order Date中的最近时间-每位用户最近一次交易时间
R_value = (df2['Order Date'].max() - R_value).dt.days
# F_value是用户在限定的时间内所购买的次数
#按照Customer ID分类对Order ID去重计数
F_value = df2.groupby('Customer ID')['Order ID'].nunique()
# M_value是用户的交易金额
#按照Customer ID分类对Price求和
M_value = df2.groupby('Customer ID')['Price'].sum()
#描述分析R_value
R_value.describe()
#画出F_value满足F_value<200的分布柱状图
plt.hist(F_value[F_value<200],bins=30)
plt.show()
#设置分段标准
R_bins = [0,30,60,90,180,720]
F_bins = [1,2,5,10,20,500]
M_bins = [0,500,2000,5000,10000,200000]
#对用户最近一次交易距今的时间分段
R_score = pd.cut(R_value,R_bins,labels = [5,4,3,2,1],right=False)
R_score
#对用户在限定的时间内所购买的次数分段
F_score = pd.cut(F_value,F_bins,labels = [1,2,3,4,5],right=False)
#对用户的交易金额分段
M_score = pd.cut(M_value,M_bins,labels = [1,2,3,4,5],right=False)
#将R、F、M组合起来
RFM = pd.concat([R_score,F_score,M_score],axis=1)
#重命名各个变量
RFM.rename(columns={'Order Date':'R_score','Order ID':'F_score','Price':'M_score'},inplace=True)
#将RFM中的数据转换为float
for i in ['R_score','F_score','M_score']:
RFM[i] = RFM[i].astype(float)
#看平均值
RFM.describe()
#进行用户价值评测：大于平均值为高价值用户，否则为低价值用户
RFM['R'] = np.where(RFM['R_score'] > 3.594560,'高','低')
RFM['F'] = np.where(RFM['F_score'] > 3.857862,'高','低')
RFM['M'] = np.where(RFM['M_score'] > 4.243703,'高','低')
#将R、F、M三个评测等级以字符串形式连接保存为value一列
RFM['value'] = RFM['R'].str[:] + RFM['F'].str[:] + RFM['M'].str[:]
#去除value一列字符串头尾的空格
RFM['value'] = RFM['value'].str.strip()
#定义用户等级分类函数
def trans_value(x):
if x == '高高高':
return '重要价值客户'
elif x == '低高高':
return '重要保持客户'
elif x == '低低高':
return '重要挽留客户'
elif x == '高高低':
return '一般价值客户'
elif x == '高低低':
return '一般发展客户'
elif x == '低高低':
return '一般保持客户'
elif x == '高低高':
return '重要发展客户'
else:
return '一般挽留客户'
#对value一列使用用户等级分类函数
RFM['用户等级'] = RFM['value'].apply(trans_value)
#分类计数
RFM['用户等级'].value_counts()
#画条形图
trace_basic=[go.Bar(x=RFM['用户等级'].value_counts().index,y=RFM['用户等级'].value_counts().values,marker=dict(color='orange'),opacity=0.50)]
layout=go.Layout(title='用户等级情况',xaxis=dict(title='用户重要度'))
figure_basic=go.Figure(data=trace_basic,layout=layout,)
pyplot(figure_basic)
#画饼图
trace_basic1 = [go.Pie(labels = RFM['用户等级'].value_counts().index,values = RFM['用户等级'].value_counts().values,hole=0.2,textfont = dict(size=12,color='white'))]
layout1 = go.Layout(title = '用户等级比例')
figure_basic1 = go.Figure(data = trace_basic1,layout = layout1,)
pyplot(figure_basic1)
附图（大家可以自己敲一遍进行对照）
Python小白，数据分析与机器学习方向，每周六更
