今日进度

1MathorCup 高校数学建模挑战赛——大数据竞赛

练习题:观影大数据分析

S 聪想要在海外开拓万 D 电影的市场,这次他在考虑:怎么拍商业电影才

能赚钱?毕竟一些制作成本超过 1 亿美元的大型电影也会失败。这个问题对电影

业来说比以往任何时候都更加重要。 所以,他就请来了你(数据分析师)来帮

他解决问题,给出一些建议,根据数据分析一下商业电影的成功是否存在统一公

式?以帮助他更好地进行决策。

解决的终极问题是: 电影票房的影响因素有哪些?

接下来我们就分不同的维度分析:

• 观众喜欢什么电影类型?有什么主题关键词?

• 电影风格随时间是如何变化的?

• 电影预算高低是否影响票房?

• 高票房或者高评分的导演有哪些?

• 电影的发行时间最好选在啥时候?

• 拍原创电影好还是改编电影好?

本次使用的数据来自于 Kaggle 平台(TMDb 5000 Movie Database)。收录了

美国地区 1916-2017 年近 5000 部电影的数据,包含预算、导演、票房、电影评

分等信息。原始数据集包含 2 个文件:

• tmdb_5000_movies:电影基本信息,包含 20 个变量

• tmdb_5000_credits:演职员信息,包含 4 个变量

请使用 Python 编程,完成下列问题:

1)使用附件中的 tmdb_5000_movies .csv 和 tmdb_5000_credits .csv 数据集,进

行数据清洗、数据挖掘、数据分析和数据可视化等,研究电影票房的影响因素有

哪些?从不同的维度分析电影,讨论并分析你的结果。

2)附件 tmdb_1000_predict.csv 中包含 1000 部电影的基本信息,请你选择

合适的指标,进行特征提取,建立机器学习的预测模型,预测 1000 部电影的

vote_average 和 vote_count,并保存为 tmdb_1000_predicted.csv。

2.

数据清洗

1 导入数据

我把文件下到了F盘

 

# 数据导入import inline as inlineimport matplotlib as matplotlibimport numpy as npimport pandas as pdfrom pandas import DataFrame, Series# 可视化显示在界面matplotlibinlineimport matplotlibimport matplotlib.pyplot as pltplt.rcParams['font.sans-serif'] = ['SimHei']  # 用来显示中文plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号import seaborn as snssns.set(color_codes=True)# 学习seaborn参考:https://www.jianshu.com/p/c26bc5ccf604import jsonimport warningswarnings.filterwarnings('ignore')from wordcloud import WordCloud, STOPWORDSmovies = pd.read_csv('F:\\data\\tmdb_5000_movies.csv', encoding='utf_8')credits = pd.read_csv('F:\\data\\tmdb_5000_credits.csv', encoding='utf_8')movies.info()  # 查看信息credits.info()

运行结果:共有4803条记录

 

 

2 缺失值处理

缺失记录仅____3____条,采取网上搜索,补全信息。

 

 

共有4803条数据,但是这个运行出来的结果可见不是每一项都是4803,说明有缺失,缺失项是release_date,runtime这两项,也就是说确实三条记录

 

2.1 补全 release_date

 

运行结果

 

可以找到这一行的title

缺失记录的电影标题为《_America Is Still the Place____》,日期为_2014-06-01___。

填补缺失值:

 

运行结果:

 

可以看到这里已经说明填补成功了

2.2 补全 runtime

 

 

缺失记录的电影 runtime 分别为_____94__min 和 ____240___min。

和上面的方法相似:

 

 

 

3 重复值处理

运行结果:有_____4803_____个不重复的 id,可以认为没有重复数据。

 

 

4 日期值处理

release_date 列转换为日期类型:

 

 

5 筛选数据

使用数据分析师最喜欢的一个语法:

df.describe()

 

 

 

票房、预算、受欢迎程度、评分为__0_____的数据应该去除;

评分人数过低的电影,评分不具有统计意义,筛选评分人数大于_50____的数据。

 

查看:

df.info()

 

运行结果:

 

此时剩余__2961____条数据,包含__19____个字段。

6 json 数据转换

**说明:**genres,keywords,production_companies,production_countries,cast,crew 这 6 列都是

json 数据,需要处理为列表进行分析。

处理方法:

json 本身为字符串类型,先转换为字典列表,再将字典列表转换为,以’,'分割的字符串

 

运行结果:

 

7 数据备份

 

5 数据分析

5.1 why

想要探索影响票房的因素,从电影市场趋势,观众喜好类型,电影导演,发行时间,评分与

关键词等维度着手,给从业者提供合适的建议。

5.2 what

5.2.1 电影类型:定义一个集合,获取所有的电影类型

 

运行结果:

 

注意到集合中存在多余的元素:空的单引号,所以需要去除。

 

运行结果:

 

5

5.2.1.1 电影类型数量(绘制条形图)

 

运行结果:

 

5.2.1.2 电影类型占比(绘制饼图)

 

 

 

5.2.1.3 电影类型变化趋势(绘制折线图)

 

 

6

5.2.1.4 不同电影类型预算/利润(绘制组合图)

 

 

5.2.2 电影关键词(keywords 关键词分析,绘制词云图)

 

 

5.3 when

查看 runtime 的类型,发现是 object 类型,也就是字符串,所以,先进行数据转化。

7

5.3.1 电影时长(绘制电影时长直方图)

 

 

5.3.2 发行时间(绘制每月电影数量和单片平均票房)

 

 

5.4 where

本数据集收集的是美国地区的电影数据,对于电影的制作公司以及制作国家,在本次的故事

背景下不作分析。

5.5 who

5.5.1 分析票房分布及票房 Top10 的导演

 

 

5.5.2 分析评分分布及评分 Top10 的导演

 

 

5.6 how

5.6.1 原创 VS 改编占比(饼图)

 

 

9

5.6.2 原创 VS 改编预算/利润率(组合图)

 

 

5.7 how much

5.7.1 计算相关系数(票房相关系数矩阵)

 

 

5.7.2 票房影响因素散点图

 

 

6 对附件的 tmdb_1000_predicted.csv 的预测结果

 

posted @ 2021-12-12 22:58  一口獠牙  阅读(56)  评论(0编辑  收藏  举报