深度学习--项目提炼2(线性回归模型)

预测2018年，11月和12月的销售额

import glob #读文件
import os   #设置工作路径
import pandas as pd
import re #正则表达式
import numpy as np
import datetime as dt #时间包
from sklearn.linear_model import LinearRegression
import seaborn as sns
from matplotlib import pyplot as plt
import jieba  #分词
import jieba.analyse
import imageio #配合做词云的
from wordcloud import WordCloud #词云

#windows 中文编码
plt.rcParams['font.sans-serif']='simhei'
plt.rcParams['axes.unicode_minus']=False

sns.set_style("darkgrid",{"font.sans-serif":['simhei','Droid Sans Fallback']})
os.chdir(r'C:\Users\Administrator\Downloads\模块三资料\模块三资料\模块三代码文件\code\综合项目(电商文本挖掘)\data')
os.chdir('./驱虫剂市场')
filenames = glob.glob('*市场近三年交易额.xlsx') #列表



def load_xlsx(filename):
    # 抽取子类目的名字
    colname = re.search(r'.*(?=市场)', filename).group()
    # 读取文件
    df = pd.read_excel(filename)
    # 修改日期的格式
    if df['时间'].dtypes == 'int64':
        df['时间'] = pd.to_datetime(df['时间'], unit='D', origin=pd.Timestamp('1899-12-30'))

    # 重命名列名为子类目名
    df.rename(columns={df.columns[1]: colname}, inplace=True)

    # 设置时间列作为索引
    df = df.set_index('时间')
    return df
dfs = [load_xlsx(i) for i in filenames]
df = pd.concat(dfs,axis=1).reset_index() #时间从大到小排序
month = df['时间'].dt.month
# 预测2018年 11、12月的数据
def momth_data(df,month):
    for i in [11, 12]:
        # 抽取对月份的数据
        dm = df[month == i]  # 2015.11  2016.11  2017.11
        # 训练x是年份
        xtrain = np.array(dm['时间'].dt.year).reshape(-1, 1)
        print(xtrain)#[[2017][2016][2015]]
        # 测试y是新增的行，对应的日期
        ytest = [pd.datetime(2018, i, 1)] #[datetime.datetime(2018, 12, 1, 0, 0)]
        print(ytest)
        print(dm.columns)#Index(['时间', '灭鼠杀虫剂', '电蚊香套装', '盘香灭蟑香蚊香盘', '蚊香加热器', '蚊香液', '蚊香片', '防霉防蛀片'], dtype='object')

        for j in range(1, len(dm.columns)):#1,2,3,4,5,6,7,每一列
            print(j)
            # 训练y是指定的列
            ytrain = np.array(dm.iloc[:, j]).reshape(-1, 1)
            # 回归建模
            lm = LinearRegression().fit(xtrain, ytrain)
            # 预测当测试x为2018时销售额 yhat
            yhat = lm.predict(np.array([2018]).reshape(-1, 1))
            ytest.append(round(yhat[0][0], 2))
        # 给预测结果赋值对应的列名
        newrow = pd.DataFrame([dict(zip(df.columns, ytest))])
        # 预测结果行加在数据前
        df = newrow.append(df)
momth_data(df,month)

df.reset_index(drop=True,inplace=True)
df = df[df['时间'].dt.year != 2015]
df['colsums'] = df.sum(1) #取值第一列。交易金额总和列 ：灭鼠杀虫剂       2.469394e+09

df.insert(1,'year',df['时间'].dt.year) #年份列

图表分析

近三年的市场趋势

byyear = df.groupby('year').sum().reset_index()
sns.relplot('year','colsums',kind='line',marker='o',data=byyear,height=4)
plt.title('近三年的市场趋势')
plt.xticks(byyear.year,rotation=45)
plt.xlabel('年份')
plt.ylabel('总交易额')
plt.show()

 

 

 

近三年各类市场销售趋势

f,ax = plt.subplots(figsize=(10,6))
#dashes=False 不区分线型
sns.lineplot(data=byyear.set_index('year').iloc[:,:-1],dashes=False,marker='^')
plt.title('近三年各类市场销售趋势')
plt.xticks(byyear.year,rotation=45)
#在指定位置加文本
for a,b in zip(byyear.year,byyear['灭鼠杀虫剂']):
    plt.text(a,b,'%.3e'% b, ha='center',va='bottom',size=12)

plt.xlabel('年份')
plt.ylabel('总交易额')
plt.show()

 

 

灭鼠杀虫剂近三年的增长趋势

g = sns.FacetGrid(byyear,height=5)
g.map(sns.barplot,'year','灭鼠杀虫剂',color='wheat')
g.map(sns.pointplot,'year','灭鼠杀虫剂')

for a,b in zip(range(len(byyear)),byyear['灭鼠杀虫剂']):
    plt.text(a,b,'%.3e'% b, ha='center',va='bottom',size=12)

plt.xlabel('年份')
plt.ylabel('灭鼠杀虫剂近三年的增长趋势')
plt.xticks(rotation=45)
plt.show()

 

 

计算每年每个子市场的比例

byyear_per = byyear.iloc[:,1:-1].div(byyear.colsums,axis=0)
byyear_per.index = byyear.year
byyear_per
#stacked=True  
byyear_per.plot(kind='bar',stacked=True,figsize=(10,8),colormap='tab10')

for a,b in zip(range(len(byyear_per)),byyear_per['灭鼠杀虫剂']):
    plt.text(a,b/2,f'{b*100:.2f}%', ha='center',va='bottom',size=12,color='white')


plt.xlabel('年份')
plt.ylabel('总交易额占比')
plt.title('近三年各子类市场销量占比')
plt.show()

 

 

近三年各子类市场销量年增幅

#拿到中间7列
byyear0 = byyear.iloc[:,1:-1] 
byyear0.diff()#一阶差分  17-16  18-17   

#计算年增幅
byyear0 = byyear.iloc[:,1:-1] 
byyear_diff = byyear0.diff().iloc[1:,:].reset_index(drop=True)/byyear0.iloc[:2,:]
byyear_diff.index = ['16-17','17-18']
byyear_diff

#作图查看
f,ax = plt.subplots(figsize=(10,8))
sns.lineplot(data=byyear_diff,dashes=False)
plt.title('近三年各子类市场销量年增幅')

plt.xlabel('年份')
plt.ylabel('总交易额年增幅')
plt.show()

 

交易指数占比

df1 = pd.read_excel('top100品牌数据.xlsx')
df1.isna().mean()
df1['交易指数占比'] = df1['交易指数']/df1['交易指数'].sum()
df1.plot(x='品牌',y='交易指数占比',kind='bar',figsize=(15,5))
plt.show()

 

 

# HHI 市场集中度，俗称垄断程度，市场占有率
HHI = sum(df1['交易指数占比']**2)
print(HHI) #0.013546334007208914

 合并所有文件

ilename1 = glob.glob('*.xlsx')
dfs1 = [pd.read_excel(i) for i in filename1]
df2 = pd.concat(dfs1,sort=False)

删除缺失值大于56%的列

df2 = pd.read_excel(r"C:\Users\Administrator\Documents\WeChat Files\wxid_bexgq4nmz5cs22\FileStorage\File\2021-12\安全图书(1)(1)(1).xlsx",sheet_name="Sheet1")
ind1 = df2.isna().mean()> 0.56 # 列的缺失值的平均数大于56%
df20 = df2.loc[:,~ind1] # 重新赋值

ind2 = np.array([len(df20[i].unique()) == 1 for i in df20.columns])
df21 = df20.loc[:,~ind2]

列索引

ind3 = df21.columns.get_loc('出版社') #列索引
df22 = df21.iloc[:,:ind3]

删除

df21 = pd.read_excel(r"C:\Users\Administrator\Documents\WeChat Files\wxid_bexgq4nmz5cs22\FileStorage\File\2021-12\安全图书(1)(1)(1).xlsx",sheet_name="Sheet1")
df21.drop(columns="书名")
df21.drop(index=0)

转类型

df23 = df23.astype({'宝贝ID':'object'}) #将宝贝ID转成object
df23.reset_index(drop=True,inplace=True)

画图技巧

byclass.plot.barh() 

 

 

byclass.plot.pie(autopct='%.2f')

 

df24['售价'].plot.hist()

 

df25 = df24[df24['价格区间']=='0_50']
df25['售价'].plot.hist()

 

 

交互饼形图

 import plotly.graph_objects as go #交互图形 类似于PowerBI fig = go.Figure(data=[go.Pie(labels=byclass.index,values=byclass.values)]) fig.show() 

 同时画三个饼图

#饼图  [0,1,2]，bai31、an31、kl31都是Dateframe 数据
fig,axes = plt.subplots(1,3,figsize=(10,6)) 
ax = axes[0] #第一个拜耳
bai31['销售额'].plot.pie(autopct='%.f',title='拜耳',startangle=30,ax=ax)
ax.set_ylabel('')
ax = axes[1] #第二个安速
an31['30天销售额'].plot.pie(autopct='%.f',title='安速',startangle=60,ax=ax)
ax.set_ylabel('')
ax = axes[2] #第三个科凌虫控
kl31['30天销售额'].plot.pie(autopct='%.f',title='科凌虫控',startangle=90,ax=ax)
ax.set_ylabel('')

 

 

分箱操作

data = pd.read_excel(r"C:\Users\Administrator\Desktop\安全图书.xlsx")
print(data["价格"])
#自定义分箱 
bins = [0,40,80,120] #分界线
labels = ['0_40','40_80','80_120']#箱子的标题
# #pd.cut   include_lowest (0,50] ---> [0,50] 左右都是闭区间
data['价格区间'] = pd.cut(data['价格'],bins,labels=labels,include_lowest=True)
print(data['价格区间'].value_counts())

结果：

0_40 11
40_80 3
80_120 2
Name: 价格区间, dtype: int64

相对竞争度

byc['相对竞争度'] = 1- (byc['单宝贝平均销售额']-byc['单宝贝平均销售额'].min())/(
                        byc['单宝贝平均销售额'].max()-byc['单宝贝平均销售额'].min())

 

前5%的价格

bytype1 = df21[df21['价格']>=df21['价格'].quantile(0.95)]

 

取排名前十

top10 = df0.sort_values('交易指数',ascending=False).reset_index(drop=True).iloc[:10,:]

value_counts().count() 总数

df['书名'].value_counts().count()

 

loc[:, '价格']与 loc[:, ['价格']的区别

loc[:, '价格'] 结果：

 

 

loc[:,['价格']]结果：

 mask 替换，deacrib方法

df = pd.read_excel(r"C:\Users\Administrator\Documents\WeChat Files\wxid_bexgq4nmz5cs22\FileStorage\File\2021-12\安全图书(1)(1)(1).xlsx",sheet_name="Sheet1")
c = df.describe(percentiles=[0.1,0.9,0.99])
def block(x):
    qu = x.quantile(.9)
    out = x.mask(x>qu,qu) #当大于90%分位数的进行替换
    return(out)

def block2(df):
    df1 = df.copy()
    df1['价格'] = block(df1['价格']) #使用盖帽法进行替换交易增长幅度
    return df1
df3 = block2(df)
print(df3.describe(percentiles=[0.1,0.9,0.99]))

结果：