python数据分析练习

第一部分：数据类型处理

• 数据加载

  • 字段含义：
    • user_id:用户ID
    • order_dt:购买日期
    • order_product:购买产品的数量
    • order_amount:购买金额

  df = pd.read_csv('../data/CDNOW_master.txt',header=None,sep='\s+',names=['user_id','order_dt','order_product','order_amount'])
  df.head()
  

• 观察数据

  • 查看数据的数据类型df.info()

    

  • 数据中是否存储在缺失值

  • 将order_dt转换成时间类型

    #将order_dt转换成时间类型
    df['order_dt'] = pd.to_datetime(df['order_dt'],format='%Y%m%d')
    

    

  • 查看数据的统计描述df.describe()

    

    • 计算所有用户购买商品的平均数量
    • 计算所有用户购买商品的平均花费

  • 在源数据中添加一列表示月份:astype('datetime64[M]')

    df['month'] = df['order_dt'].astype('datetime64[M]')
    

    

第二部分：按月数据分析

• 用户每月花费的总金额

  #用户每月花费的总金额
  df.groupby(by='month')['order_amount'].sum()
  

  

  • 绘制曲线图展示

    df.groupby(by='month')['order_amount'].sum().plot()
    

    

• 所有用户每月的产品购买量

• 所有用户每月的消费总次数

  #所有用户每月的消费总次数(原始数据中的一行数据表示一次消费记录)
  df.groupby(by='month')['user_id'].count()
  

• 统计每月的消费人数

  #统计每月的消费人数(可能同一天一个用户会消费多次) nunique表示统计去重后的个数
  df.groupby(by='month')['user_id'].nunique()
  

  

第三部分：用户个体消费数据分析

• 用户消费总金额和消费总次数的统计描述

  #用户消费总金额和消费总次数的统计描述
  df.groupby(by='user_id')['order_amount'].sum() #每一个用户消费的总金额
  

• 用户消费金额和消费产品数量的散点图

  #用户消费金额和消费产品数量的散点图
  user_amount_sum = df.groupby(by='user_id')['order_amount'].sum()
  user_product_sum = df.groupby(by='user_id')['order_product'].sum()
  plt.scatter(user_product_sum,user_amount_sum)
  

• 各个用户消费总金额的直方分布图(消费金额在1000之内的分布)

  #各个用户消费总金额的直方分布图(消费金额在1000之内的分布)
  df.groupby(by='user_id').sum().query('order_amount <= 1000')['order_amount']
  df.groupby(by='user_id').sum().query('order_amount <= 1000')['order_amount'].hist()
  

• 各个用户消费的总数量的直方分布图(消费商品的数量在100次之内的分布)

  #各个用户消费的总数量的直方分布图(消费商品的数量在100次之内的分布)
  df.groupby(by='user_id').sum().query('order_product <= 100')['order_product'].hist()
  

第四部分：用户消费行为分析

• 用户第一次消费的月份分布，和人数统计

  #用户第一次消费的月份分布，和人数统计
  #第一次消费的月份：每一个用户消费月份的最小值就是该用户第一次消费的月份
  df.groupby(by='user_id')['month'].min()
  df.groupby(by='user_id')['month'].min().value_counts() #人数的统计
  df.groupby(by='user_id')['month'].min().value_counts().plot()
  

  • 绘制线形图

    

• 用户最后一次消费的时间分布，和人数统计

  #用户最后一次消费的时间分布，和人数统计
  #用户消费月份的最大值就是用户最后一次消费的月份
  df.groupby(by='user_id')['month'].max().value_counts().plot()
  

  • 绘制线形图

    

• 新老客户的占比

  • 消费一次为新用户

  • 消费多次为老用户

    • 分析出每一个用户的第一个消费和最后一次消费的时间

      • agg(['func1','func2']):对分组后的结果进行指定聚合

        

    • 分析出新老客户的消费比例

  #新老客户的占比
  #消费一次为新用户，消费多次为老用户
  #如何获知用户是否为第一次消费？可以根据用户的消费时间进行判定？
      #如果用户的第一次消费时间和最后一次消费时间一样，则该用户只消费了一次为新用户，否则为老用户
  new_old_user_df = df.groupby(by='user_id')['order_dt'].agg(['min','max'])#agg对分组后的结果进行多种指定聚合
  new_old_user_df['min'] == new_old_user_df['max'] #True新用户，False老用户
  #统计True和False的个数
  (new_old_user_df['min'] == new_old_user_df['max']).value_counts()
  

  

• 用户分层

  • 分析得出每个用户的总购买量和总消费金额and最近一次消费的时间的表格rfm

    rfm = df.pivot_table(index='user_id',aggfunc={'order_product':'sum','order_amount':'sum','order_dt':"max"})
    

    

  • RFM模型设计

    • R表示客户最近一次交易时间的间隔。

      • /np.timedelta64(1,'D')：去除days

      #R表示客户最近一次交易时间的间隔
      max_dt = df['order_dt'].max() #今天的日期
      #每一个用户最后一次交易的时间
      -(df.groupby(by='user_id')['order_dt'].max() - max_dt)
      #rfm['R'] = -(df.groupby(by='user_id')['order_dt'].max() - max_dt)/np.timedelta64(1,'D')
      

      

    • F表示客户购买商品的总数量,F值越大，表示客户交易越频繁，反之则表示客户交易不够活跃。

    • M表示客户交易的金额。M值越大，表示客户价值越高，反之则表示客户价值越低。

    • 将R，F，M作用到rfm表中

      

  • 根据价值分层，将用户分为：

    • 重要价值客户
    • 重要保持客户
    • 重要挽留客户
    • 重要发展客户
    • 一般价值客户
    • 一般保持客户
    • 一般挽留客户
    • 一般发展客户
      • 使用已有的分层模型即可rfm_func

    def rfm_func(x):
        #存储存储的是三个字符串形式的0或者1
        level = x.map(lambda x :'1' if x >= 0 else '0')
        label = level.R + level.F + level.M
        d = {
            '111':'重要价值客户',
            '011':'重要保持客户',
            '101':'重要挽留客户',
            '001':'重要发展客户',
            '110':'一般价值客户',
            '010':'一般保持客户',
            '100':'一般挽留客户',
            '000':'一般发展客户'
        }
        result = d[label]
        return result
    #df.apply(func):可以对df中的行或者列进行某种（func）形式的运算
    rfm['label'] = rfm.apply(lambda x : x - x.mean()).apply(rfm_func,axis = 1)
    rfm.head()
    

    

    

第五部分：用户的生命周期

• 将用户划分为活跃用户和其他用户

  • 统计每个用户每个月的消费次数

    #统计每个用户每个月的消费次数
    user_month_count_df = df.pivot_table(index='user_id',values='order_dt',aggfunc='count',columns='month').fillna(0)
    

    

  • 统计每个用户每个月是否消费，消费记录为1否则记录为0

    • • 将用户按照每一个月份分成：
        • unreg:观望用户（前两月没买，第三个月才第一次买,则用户前两个月为观望用户）
        • unactive:首月购买后，后序月份没有购买则在没有购买的月份中该用户的为非活跃用户
        • new:当前月就进行首次购买的用户在当前月为新用户
        • active:连续月份购买的用户在这些月中为活跃用户
        • return:购买之后间隔n月再次购买的第一个月份为该月份的回头客

    • 知识点：DataFrame的apply和applymap的区别
      • applymap:返回df
      • 将函数做用于DataFrame中的所有元素(elements)
      • apply:返回Series
      • apply()将一个函数作用于DataFrame中的每个行或者列

    #统计每个用户每个月是否消费，消费记录为1否则记录为0
    df_purchase = user_month_count_df.applymap(lambda x:1 if x >= 1 else 0)
    
    

    

    #将df_purchase中的原始数据0和1修改为new，unactive......,返回新的df叫做df_purchase_new
    #固定算法
    def active_status(data):
        status = []#某个用户每一个月的活跃度
        for i in range(18):
            
            #若本月没有消费
            if data[i] == 0:
                if len(status) > 0:
                    if status[i-1] == 'unreg':
                        status.append('unreg')
                    else:
                        status.append('unactive')
                else:
                    status.append('unreg')
                        
            #若本月消费
            else:
                if len(status) == 0:
                    status.append('new')
                else:
                    if status[i-1] == 'unactive':
                        status.append('return')
                    elif status[i-1] == 'unreg':
                        status.append('new')
                    else:
                        status.append('active')
        return status
    
    pivoted_status = df_purchase.apply(active_status,axis = 1) 
    pivoted_status.head()
    

    

    df_purchase_new = DataFrame(data=pivoted_status.values.tolist(),index=df_purchase.index,columns=df_purchase.columns)
    

    

    • 每月【不同活跃】用户的计数
      • purchase_status_ct = df_purchase_new.apply(lambda x : pd.value_counts(x)).fillna(0)
      • 转置进行最终结果的查看

    purchase_status_ct = df_purchase_new.apply(lambda x : pd.value_counts(x)).fillna(0)
    purchase_status_ct.T
    

    

​