5000电影数据处理

王 S 聪想要在海外开拓万 D 电影的市场， 这次他在考虑： 怎么拍商业电影才 能赚钱？毕竟一些制作成本超过 1 亿美元的大型电影也会失败。这个问题对电影 业来说比以往任何时候都更加重要。  所以，他就请来了你（数据分析师）来帮 他解决问题， 给出一些建议， 根据数据分析一下商业电影的成功是否存在统一公 式？以帮助他更好地进行决策。

解决的终极问题是： 电影票房的影响因素有哪些？

接下来我们就分不同的维度分析：

•    观众喜欢什么电影类型？有什么主题关键词？

•     电影风格随时间是如何变化的？

•     电影预算高低是否影响票房？

•    高票房或者高评分的导演有哪些？

•     电影的发行时间最好选在啥时候？

•    拍原创电影好还是改编电影好？

本次使用的数据来自于 Kaggle 平台（TMDb 5000 Movie Database）。收录了 美国地区 1916-2017 年近 5000 部电影的数据，包含预算、导演、票房、电影评 分等信息。原始数据集包含 2 个文件：

•    tmdb_5000_movies：电影基本信息，包含 20 个变量

•    tmdb_5000_credits：演职员信息，包含 4 个变量

请使用 Python  编程，完成下列问题：

（1）使用附件中的 tmdb_5000_movies.csv 和 tmdb_5000_credits.csv 数据集，进 行数据清洗、 数据挖掘、数据分析和数据可视化等，研究电影票房的影响因素有 哪些？ 从不同的维度分析电影，讨论并分析你的结果。

（2）附件 tmdb_1000_predict.csv 中包含 1000 部电影的基本信息， 请你选择 合适的指标，进行特征提取， 建立机器学习的预测模型， 预测 1000  部电影的 vote_average 和 vote_count，并保存为 tmdb_1000_predicted.csv。

 

数据清洗

1  导入数据

 

2  缺失值处理

缺失记录仅____3__条，采取网上搜索，补全信息。

 

缺失记录的电影标题为《America Is Still the Place》， 日期为2014-06-01。

缺失记录的电影 runtime 分别为____94___min 和 _240__min。

3  重复值处理

运行结果：有__4803____个不重复的id，可以认为没有重复数据。

4  日期值处理

将 release_date 列转换为日期类型

 

5  筛选数据

使用数据分析师最喜欢的一个语法：

票房、预算、受欢迎程度、评分为___0____的数据应该去除；

评分人数过低的电影，评分不具有统计意义，筛选评分人数大于_50__的数据。

此时剩余___2961___条数据，包含__16____个字段。

6 json 数据转换

**说明： **genres,keywords,production_companies,production_countries,cast,crew  这 6 列都是 json 数据，需要处理为列表进行分析。

处理方法：

json 本身为字符串类型，先转换为字典列表，再将字典列表转换为，以’,'分割的字符串

 

 

 

 

7  数据备份