1
MathorCup 高校数学建模挑战赛——大数据竞赛
练习题：观影大数据分析
王 S 聪想要在海外开拓万 D 电影的市场，这次他在考虑：怎么拍商业电影才
能赚钱？毕竟一些制作成本超过 1 亿美元的大型电影也会失败。这个问题对电影
业来说比以往任何时候都更加重要。 所以，他就请来了你（数据分析师）来帮
他解决问题，给出一些建议，根据数据分析一下商业电影的成功是否存在统一公
式？以帮助他更好地进行决策。
解决的终极问题是：电影票房的影响因素有哪些？
接下来我们就分不同的维度分析：
- • 观众喜欢什么电影类型？有什么主题关键词？
- • 电影风格随时间是如何变化的？
- • 电影预算高低是否影响票房？
- • 高票房或者高评分的导演有哪些？
- • 电影的发行时间最好选在啥时候？
- • 拍原创电影好还是改编电影好？
本次使用的数据来自于 Kaggle 平台（TMDb 5000 Movie Database）。收录了
美国地区 1916-2017 年近 5000 部电影的数据，包含预算、导演、票房、电影评
分等信息。原始数据集包含 2 个文件：
- • tmdb_5000_movies：电影基本信息，包含 20 个变量
- • tmdb_5000_credits：演职员信息，包含 4 个变量
请使用 Python 编程，完成下列问题：
（1）使用附件中的 tmdb_5000_movies.csv 和 tmdb_5000_credits.csv 数据集，进
行数据清洗、数据挖掘、数据分析和数据可视化等，研究电影票房的影响因素有
哪些？从不同的维度分析电影，讨论并分析你的结果。
（2）附件 tmdb_1000_predict.csv 中包含 1000 部电影的基本信息，请你选择
合适的指标，进行特征提取，建立机器学习的预测模型，预测 1000 部电影的
vote_average 和 vote_count，并保存为 tmdb_1000_predicted.csv。2
数据清洗
1 导入数据
共有4803条数据
2 缺失值处理
缺失记录仅_3__条，采取网上搜索，补全信息。
2.1 补全 release_date
缺失记录的电影标题为《______America Is Still the Place_____》，日期为___2014-06-01
________________。
2.2 补全 runtime
缺失记录的电影 runtime 分别为___94____min 和 _240______min。
结果如下：
记录全是4803条
3 重复值处理
运行结果：有___4803_____个不重复的 id，可以认为没有重复数据。
4 日期值处理
将 release_date 列转换为日期类型：
结果展示
5 筛选数据
使用数据分析师最喜欢的一个语法：df.describe()
票房、预算、受欢迎程度、评分为___0____的数据应该去除；
评分人数过低的电影，评分不具有统计意义，筛选评分人数大于__50___的数据。
此时剩余___2961___条数据，包含___19__个字段。
6 json 数据转换
**说明：**genres,keywords,production_companies,production_countries,cast,crew 这 6 列都是
json 数据，需要处理为列表进行分析。
处理方法：
json 本身为字符串类型，先转换为字典列表，再将字典列表转换为，以’,'分割的字符串4
结果如下：
7 数据备份
5 数据分析
5.1 why
想要探索影响票房的因素，从电影市场趋势，观众喜好类型，电影导演，发行时间，评分与关键词等维度着手，给从业者提供合适的建议。
5.2 what
5.2.1 电影类型：定义一个集合，获取所有的电影类型
注意到集合中存在多余的元素：空的单引号，所以需要去除。
5.2.1.1 电影类型数量（绘制条形图）
5.2.1.2 电影类型占比（绘制饼图）
5.2.1.3 电影类型变化趋势（绘制折线图）
5.2.1.4 不同电影类型预算/利润（绘制组合图）
5.2.2 电影关键词（keywords 关键词分析，绘制词云图）
5.3 when
查看 runtime 的类型，发现是 object 类型，也就是字符串，所以，先进行数据转化。
1、先进行数据转化
|
df.runtime.head(5) |
2、
|
df.runtime = df.runtime.apply(pd.to_numeric, errors='coerce') df.runtime.describe() |
5.3.1 电影时长（绘制电影时长直方图）
|
import seaborn as sns
sns.set_style('dark') sns.distplot(df.runtime,bins = 30) sns.despine(left = True) # 使用despine()方法来移除坐标轴，默认移除顶部和右侧坐标轴 plt.xticks(range(50,360,20)) plt.savefig('电影时长直方图.png',dpi=300) plt.show() |
5.3.2 发行时间（绘制每月电影数量和单片平均票房）
|
fig = plt.figure(figsize=(12,7)) x = list(range(1,13)) y1 = df.groupby('release_month').revenue.size() y2 = df.groupby('release_month').revenue.mean()# 每月单片平均票房
# 左轴 ax1 = fig.add_subplot(1,1,1) plt.bar(x,y1,color='C6',label='电影数量') plt.grid(False) ax1.set_xlabel('月份') # 设置x轴label ,y轴label ax1.set_ylabel('电影数量',fontsize=16) ax1.legend(loc=2,fontsize=12)
# 右轴 ax2 = ax1.twinx() plt.plot(x,y2,'bo--',label='每月单片平均票房') ax2.set_ylabel('每月单片平均票房',fontsize=16) ax2.legend(loc=1,fontsize=12)
plt.savefig('每月电影数量和单片平均票房.png',dpi=300) |
5.4 where
本数据集收集的是美国地区的电影数据，对于电影的制作公司以及制作国家，在本次的故事背景下不作分析。
5.5 who
5.5.1 分析票房分布及票房 Top10 的导演
|
director_df = pd.DataFrame() director_df = df[['director','revenue','budget','profit','vote_average']] director_df = director_df.groupby(by = 'director').mean().sort_values(by='revenue',ascending = False) # 取均值 director_df.info()
# 绘制票房分布直方图 director_df['revenue'].plot.hist(bins=100, figsize=(12,12),color='C2') plt.xlabel('票房') plt.ylabel('频数') plt.title('不同导演执导的票房分布') plt.savefig('不同导演执导的票房分布.png',dpi = 300) plt.rcParams['font.sans-serif'] = ['SimHei'] plt.show() # 票房均值Top10的导演 director_df.revenue.sort_values(ascending = True).tail(10).plot(kind='barh',figsize=(8,6),color='C5') plt.xlabel('票房',fontsize = 16) plt.ylabel('导演',fontsize = 16) plt.title('票房排名Top10的导演',fontsize = 20) plt.savefig('票房排名Top10的导演.png',dpi = 300) plt.show() |
5.5.2 分析评分分布及评分 Top10 的导演
|
#绘制导演评分直方图 director_df['vote_average'].plot.hist(bins=18, figsize=(8,6),color='C8') plt.xlabel('评分') plt.ylabel('频数') plt.title('不同导演执导的评分分布') plt.savefig('不同导演执导的评分分布.png',dpi = 300) plt.show() # 评分均值Top10的导演 director_df.vote_average.sort_values(ascending = True).tail(10).plot(kind='barh',figsize=(8,6),color='C4') plt.xlabel('评分',fontsize = 16) plt.ylabel('导演',fontsize = 16) plt.title('评分排名Top10的导演',fontsize = 20) plt.savefig('评分排名Top10的导演.png',dpi = 300) plt.show() |
5.6 how
5.6.1 原创 VS 改编占比（饼图）
|
# 创建数据框 original_df = pd.DataFrame() original_df['keywords'] = df['keywords'].str.contains('based on').map(lambda x: 1 if x else 0) original_df['profit'] = df['profit'] original_df['budget'] = df['budget'] # 计算 novel_cnt = original_df['keywords'].sum() # 改编作品数量 original_cnt = original_df['keywords'].count() - original_df['keywords'].sum() # 原创作品数量 # 按照 是否原创 分组 original_df = original_df.groupby('keywords', as_index = False).mean() # 注意此处计算的是利润和预算的平均值 # 增加计数列 original_df['count'] = [original_cnt, novel_cnt] # 计算利润率 original_df['profit_rate'] = (original_df['profit'] / original_df['budget'])*100 # 修改index original_df.index = ['original', 'based_on_novel'] # 计算百分比 original_pie = original_df['count'] / original_df['count'].sum() # 绘制饼图 original_pie.plot(kind='pie',label='',startangle=90,shadow=False,autopct='%2.1f%%',figsize=(8,8),colors=['C6','C8']) plt.title('改编 VS 原创',fontsize=20) plt.legend(loc=2,fontsize=10) plt.savefig('改编VS原创.png',dpi=300) plt.show() |
5.6.2 原创 VS 改编预算/利润率（组合图）
|
# 创建数据框 original_df = pd.DataFrame() original_df['keywords'] = df['keywords'].str.contains('based on').map(lambda x: 1 if x else 0) original_df['profit'] = df['profit'] original_df['budget'] = df['budget']
# 计算 novel_cnt = original_df['keywords'].sum() # 改编作品数量 original_cnt = original_df['keywords'].count() - original_df['keywords'].sum() # 原创作品数量 # 按照 是否原创 分组 original_df = original_df.groupby('keywords', as_index = False).mean() # 注意此处计算的是利润和预算的平均值 # 增加计数列 original_df['count'] = [original_cnt, novel_cnt] # 计算利润率 original_df['profit_rate'] = (original_df['profit'] / original_df['budget'])*100
# 修改index original_df.index = ['original', 'based_on_novel'] # 计算百分比 original_pie = original_df['count'] / original_df['count'].sum()
x = original_df.index y1 = original_df.budget y2 = original_df.profit_rate
fig= plt.figure(figsize = (8,6))
# 左轴 ax1 = fig.add_subplot(1,1,1) plt.bar(x,y1,color='C9',label='平均预算',width=0.25) plt.xticks(rotation=0, fontsize=12) # 更改横坐标轴名称 ax1.set_xlabel('原创 VS 改编') # 设置x轴label ,y轴label ax1.set_ylabel('平均预算',fontsize=16) ax1.legend(loc=2,fontsize=10)
#右轴 # 共享x轴，生成次坐标轴 ax2 = ax1.twinx() ax2.plot(x,y2,'bo-.',linewidth=5,label='平均利润率') ax2.set_ylabel('平均利润率',fontsize=16) ax2.legend(loc=1,fontsize=10) # loc=1,2,3,4分别表示四个角，和四象限顺序一致
# 将利润率坐标轴以百分比格式显示 import matplotlib.ticker as mtick fmt='%.1f%%' yticks = mtick.FormatStrFormatter(fmt) ax2.yaxis.set_major_formatter(yticks)
plt.savefig('改编VS原创的预算以及利润率.png',dpi=300) plt.show() |
5.7 how much
5.7.1 计算相关系数（票房相关系数矩阵）
|
# 计算相关系数矩阵 revenue_corr = df[['runtime','popularity','vote_average','vote_count','budget','revenue']].corr()
sns.heatmap( revenue_corr, annot=True, # 在每个单元格内显示标注 cmap="BuGn_r", # 设置填充颜色：黄色，绿色，蓝色 # cmap="YlGnBu", # 设置填充颜色：黄色，绿色，蓝色 # cmap="coolwarm", # 设置填充颜色：冷暖色 cbar=True, # 显示color bar linewidths=0.5, # 在单元格之间加入小间隔，方便数据阅读 # fmt='%.2f%%', # 本来是确保显示结果是整数（格式化输出），此处有问题 ) plt.savefig('票房相关系数矩阵.png',dpi=300) plt.show() |
5.7.2 票房影响因素散点图
|
# 绘制散点图 fig = plt.figure(figsize=(17,5))
# # 学习seaborn参考：https://www.jianshu.com/p/c26bc5ccf604 ax1 = plt.subplot(1,3,1) ax1 = sns.regplot(x='budget', y='revenue', data=df, x_jitter=.1,color='r',marker='x') # marker: 'x','o','v','^','<' # jitter:抖动项，表示抖动程度 ax1.text(1.6e8,2.2e9,'r=0.7',fontsize=16) plt.title('budget-revenue-scatter',fontsize=20) plt.xlabel('budget',fontsize=16) plt.ylabel('revenue',fontsize=16) ax2 = plt.subplot(1,3,2) ax2 = sns.regplot(x='popularity', y='revenue', data=df, x_jitter=.1,color='g',marker='o') ax2.text(500,3e9,'r=0.59',fontsize=16) plt.title('popularity-revenue-scatter',fontsize=18) plt.xlabel('popularity',fontsize=16) plt.ylabel('revenue',fontsize=16)
ax3 = plt.subplot(1,3,3) ax3 = sns.regplot(x='vote_count', y='revenue', data=df, x_jitter=.1,color='b',marker='v') ax3.text(7000,2e9,'r=0.75',fontsize=16) plt.title('voteCount-revenue-scatter',fontsize=20) plt.xlabel('vote_count',fontsize=16) plt.ylabel('revenue',fontsize=16)
fig.savefig('revenue.png',dpi=300) |
图片上传出错具体代码见：观影大数据二 - 辰逸1 - 博客园 (cnblogs.com)
