每日博客

MathorCup 高校数学建模挑战赛——大数据竞赛

练习题：观影大数据分析

王 S 聪想要在海外开拓万 D 电影的市场，这次他在考虑：怎么拍商业电影才能赚钱？毕竟一些制作成本超过 1 亿美元的大型电影也会失败。这个问题对电影业来说比以往任何时候都更加重要。 所以，他就请来了你（数据分析师）来帮他解决问题，给出一些建议，根据数据分析一下商业电影的成功是否存在统一公式？以帮助他更好地进行决策。

解决的终极问题是：电影票房的影响因素有哪些？ 接下来我们就分不同的维度分析：

·         观众喜欢什么电影类型？有什么主题关键词？

• 电影风格随时间是如何变化的？
• 电影预算高低是否影响票房？
• 高票房或者高评分的导演有哪些？
• 电影的发行时间最好选在啥时候？
• 拍原创电影好还是改编电影好？

本次使用的数据来自于 Kaggle 平台（TMDb 5000 Movie Database）。收录了美国地区 1916-2017 年近 5000 部电影的数据，包含预算、导演、票房、电影评

分等信息。原始数据集包含 2 个文件：

• tmdb_5000_movies：电影基本信息，包含 20 个变量
• tmdb_5000_credits：演职员信息，包含 4 个变量请使用 Python  编程，完成下列问题：

（1）    使用附件中的 tmdb_5000_movies.csv 和 tmdb_5000_credits.csv 数据集，进行数据清洗、数据挖掘、数据分析和数据可视化等，研究电影票房的影响因素有哪些？从不同的维度分析电影，讨论并分析你的结果。

（2）    附件 tmdb_1000_predict.csv 中包含 1000 部电影的基本信息，请你选择合适的指标，进行特征提取，建立机器学习的预测模型，预测 1000 部电影的vote_average 和 vote_count，并保存为 tmdb_1000_predicted.csv。

 

 

 

 

数据清洗

1    导入数据

 

# 数据导入

import inline as inline

import matplotlib as matplotlib

import numpy as np

import pandas as pd

from pandas import DataFrame, Series



# 可视化显示在界面

# matplotlib inline

import matplotlib

import matplotlib.pyplot as plt



plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来显示中文

plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号



# 学习seaborn参考：https://www.jianshu.com/p/c26bc5ccf604



import json

import warnings



warnings.filterwarnings('ignore')

# 设置显示的最大列、宽等参数，消掉打印不完全中间的省略号

# pd.set_option('display.max_columns', 1000)

pd.set_option('display.width', 1000)#加了这一行那表格的一行就不会分段出现了

# pd.set_option('display.max_colwidth', 1000)

# pd.set_option('display.height', 1000)

#显示所有列

pd.set_option('display.max_columns', None)

#显示所有行

pd.set_option('display.max_rows', None)

movies = pd.read_csv('C: \\Users\\Lenovo\\Desktop\\校\\作业\\软工\\未完\\大数据竞赛练习题\\MathorCup大数据竞赛练习题1\\data\\tmdb_5000_movies.csv', encoding='utf_8')

credits = pd.read_csv(' C: \\Users\\Lenovo\\Desktop\\校\\作业\\软工\\未完\\大数据竞赛练习题\\MathorCup大数据竞赛练习题1\\data\\tmdb_5000_credits.csv', encoding='utf_8')

movies.info()  # 查看信息

credits.info()

# 两个数据框都有title列，以及movies.riginal_title

# 以上三个数据列重复，删除两个

del credits['title']

del movies['original_title']



# 连接两个csv文件

merged = pd.merge(movies, credits, left_on='id', right_on='movie_id', how='left')



# 删除不需要分析的列

df = merged.drop(['homepage', 'overview', 'spoken_languages', 'status', 'tagline', 'movie_id'], axis=1)

df.info()

2    缺失值处理

 

缺失记录仅 3      条，采取网上搜索，补全信息。

 

2.1    补全 release_date

 

 

 

 

 

 

 

 

 

 

 

缺失记录的电影标题为《America Is Still the Place》，日期为2014-06-01        。

 

2.2    补全 runtime

 

# 查找缺失值记录-runtime

df[df.runtime.isnull()]

# 根据行标签，填充缺失值

df.loc[2656] = df.loc[2656].fillna('94, limit=1')

df.loc[4140] = df.loc[4140].fillna('240, limit=1')

 

 

 

 

 

 

 

 

 

 

缺失记录的电影 runtime 分别为94    min 和240   min。

 

3    重复值处理

 

 

 
 
 
  
  
  
 
#重复值处理

len(df.id.unique())

print(len(df.id.unique()))

 

 

 

 

 

 

运行结果：有 4803     个不重复的 id，可以认为没有重复数据。

 

4    日期值处理

 

将 release_date 列转换为日期类型：

 

df['release_year'] = pd.to_datetime(df.release_date, format = '%Y-%m-%d',errors='coerce').dt.year

df['release_month'] = pd.to_datetime(df.release_date).apply(lambda x: x.month)

df['release_day'] = pd.to_datetime(df.release_date).apply(lambda x: x.day)

df.info()

 

 

 

 

 

 

 

5    筛选数据

 

使用数据分析师最喜欢的一个语法：df.describe()

 

df.describe()

print(df.describe())

 

 

 

 

 

 

 

票房、预算、受欢迎程度、评分为 0     的数据应该去除；

评分人数过低的电影，评分不具有统计意义，筛选评分人数大于 50  的数据。

 

df = df[(df.vote_count >= 50) &(df.budget * df.revenue * df.popularity * df.vote_average !=0)].reset_index(drop = 'True')



df.info()

 

 

 

 

 

 

 

此时剩余 2961 条数据，包含 19   个字段。

 

6  json 数据转换

 

**说明：**genres,keywords,production_companies,production_countries,cast,crew 这 6 列都是

 

json 数据，需要处理为列表进行分析。处理方法：

json 本身为字符串类型，先转换为字典列表，再将字典列表转换为，以’,'分割的字符串

 

 

#处理json

json_column = ['genres', 'keywords', 'production_companies', 'production_countries', 'cast', 'crew']



# 1-json本身为字符串类型，先转换为字典列表

for i in json_column:

    df[i] = df[i].apply(json.loads)





# 提取name

# 2-将字典列表转换为以','分割的字符串

def get_name(x):

    return ','.join([i['name'] for i in x])





df['cast'] = df['cast'].apply(get_name)





# 提取derector

def get_director(x):

    for i in x:

        if i['job'] == 'Director':

            return i['name']





df['crew'] = df['crew'].apply(get_director)



for j in json_column[0:4]:

    df[j] = df[j].apply(get_name)



# 重命名

rename_dict = {'cast': 'actor', 'crew': 'director'}

df.rename(columns=rename_dict, inplace=True)

df.info()

df.head(5)

 

 

 

 

7    数据备份

 

 

 

 
 
 
 
# 备份原始数据框original_df

org_df = df.copy()

df.reset_index().to_csv("TMDB_5000_Movie_Dataset_Cleaned.csv")

 

 

 

 

 

 

 

 

 

5    数据分析

 

5.1  why

 

想要探索影响票房的因素，从电影市场趋势，观众喜好类型，电影导演，发行时间，评分与关键词等维度着手，给从业者提供合适的建议。

5.2  what

 

5.2.1   电影类型：定义一个集合，获取所有的电影类型

 

# 定义一个集合，获取所有的电影类型

genre = set()

for i in df['genres'].str.split(','): # 去掉字符串之间的分隔符，得到单个电影类型

    genre = set().union(i,genre)    # 集合求并集

    # genre.update(i) #或者使用update方法



print(genre)

 

 

 

 

 

 

 

 

 

 

 

注意到集合中存在多余的元素：空的单引号，所以需要去除。

 

genre.discard('') # 去除多余的元素

print(genre)

 

 

 

5.2.1.1   电影类型数量（绘制条形图）

 

 

 

# 计算得到每种类型的电影总数目，并降序排列

grnre_sum = genre_df.sum().sort_values(ascending = False)

# 可视化

plt.rcParams['font.sans-serif'] = ['SimHei']  #用来显示中文

grnre_sum.plot(kind='bar',label='genres',figsize=(12,9))

plt.title('不同类型的电影数量总计',fontsize=20)

plt.xticks(rotation=60)

plt.xlabel('电影类型',fontsize=16)

plt.ylabel('数量',fontsize=16)

plt.grid(False)

plt.savefig("不同电影类型数量-条形图.png",dpi=300) #在 plt.show() 之前调用 plt.savefig()

plt.show()

 

 

 

 

 

 

 

 

 

 

 

 

 

 

5.2.1.2   电影类型占比（绘制饼图）

 

 

gen_shares = grnre_sum / grnre_sum.sum()



# 设置other类，当电影类型所占比例小于%1时，全部归到other类中

others = 0.01

gen_pie = gen_shares[gen_shares >= others]

gen_pie['others'] = gen_shares[gen_shares < others].sum()



# 设置分裂属性

# 所占比例小于或等于%2时，增大每块饼片边缘偏离半径的百分比

explode = (gen_pie <= 0.02)/10



# 绘制饼图

gen_pie.plot(kind='pie',label='',explode=explode,startangle=0,

                    shadow=False,autopct='%3.1f%%',figsize=(8,8))



plt.title('不同电影类型所占百分比',fontsize=20)

plt.savefig("不同电影类型所占百分比-饼图.png",dpi=300)

plt.show()

 

 

 

 

 

 

 

 

 

 

 

 

 

5.2.1.3   电影类型变化趋势（绘制折线图）

 

#电影类型随时间变化的趋势

gen_year_sum = genre_df.sort_index(ascending = False).groupby('release_year').sum()

gen_year_sum_sub = gen_year_sum[['Drama','Comedy','Thriller','Action','Adventure','Crime','Romance','Science Fiction']]

gen_year_sum_sub.plot(figsize=(12,9))

plt.legend(gen_year_sum_sub.columns)

plt.xticks(range(1915,2018,10))

plt.xlabel('年份', fontsize=16)

plt.ylabel('数量', fontsize=16)

plt.title('不同电影变化趋势', fontsize=20)



plt.grid(False)

plt.savefig("不同电影类型数量-折线图2.png",dpi=600)

plt.show()

 

 

 

 

5.2.1.4   不同电影类型预算/利润（绘制组合图）

 

# 计算不同电影类型的利润

# Step1-创建profit_dataframe

df['profit'] = df['revenue']-df['budget']

profit_df = pd.DataFrame()

profit_df = pd.concat([genre_df.reset_index(), df['profit']], axis=1)

df.info()

# Step2-创建profit_series，横坐标为genre

profit_s=pd.Series(index=genre_list)

# Step3-求出每种genre对应的利润均值

for i in genre_list:

    profit_s.loc[i]=profit_df.loc[:,[i,'profit']].groupby(i, as_index=False).mean().loc[1,'profit']

profit_s = profit_s.sort_values(ascending = True)

profit_s



# 计算不同类型电影的budget

# Step1-创建profit_dataframe

budget_df = pd.DataFrame()

budget_df = pd.concat([genre_df.reset_index(), df['budget']], axis=1)

# Step2-创建budget_series，横坐标为genre

budget_s=pd.Series(index=genre_list)

# Step3-求出每种genre对应的预算均值

for j in genre_list:

    budget_s.loc[j]=budget_df.loc[:,[j,'budget']].groupby(j, as_index=False).mean().loc[1,'budget']

budget_s



# 再接着，横向合并 profit_s 和 budget_s

profit_budget = pd.concat([profit_s, budget_s], axis=1)

profit_budget.columns = ['profit', 'budget']



#添加利润率列

profit_budget['rate'] = (profit_budget['profit']/profit_budget['budget'])*100

# 降序排序

profit_budget_sort=profit_budget.sort_values(by='budget',ascending = False)

profit_budget_sort.head(2)



# 绘制不同类型电影平均预算和利润率（组合图）

x = profit_budget_sort.index

y1 = profit_budget_sort.budget

y2 = profit_budget_sort.rate

# 返回profit_budget的行数

length = profit_budget_sort.shape[0]



fig = plt.figure(figsize=(12,9))

# 左轴

ax1 = fig.add_subplot(1,1,1)

plt.bar(range(0,length),y1,color='b',label='平均预算')

plt.xticks(range(0,length),x,rotation=90, fontsize=12)  # 更改横坐标轴名称

ax1.set_xlabel('年份')                   # 设置x轴label ,y轴label

ax1.set_ylabel('平均预算',fontsize=16)

ax1.legend(loc=2,fontsize=12)



#右轴

# 共享x轴，生成次坐标轴

ax2 = ax1.twinx()

ax2.plot(range(0,length),y2,'ro-.')

ax2.set_ylabel('平均利润率',fontsize=16)

ax2.legend(loc=1,fontsize=12)



# 将利润率坐标轴以百分比格式显示

import matplotlib.ticker as mtick

fmt='%.1f%%'

yticks = mtick.FormatStrFormatter(fmt)

ax2.yaxis.set_major_formatter(yticks)



# 设置图片title

ax1.set_title('不同类型电影平均预算和利润率',fontsize=20)

ax1.grid(False)

ax2.grid(False)

plt.savefig("不同电影平均预算+利润率.png",dpi=300)

plt.show()

 

 

 

 

 

 

 

 

 

 

 

5.2.2   电影关键词（keywords 关键词分析，绘制词云图）

 

 

#keywords关键词分析

keywords_list = []

for i in df['keywords']:

    keywords_list.append(i)

    keywords_list

#把字符串列表连接成一个长字符串

lis = ''.join(keywords_list)

lis.replace('\'s','')

#设置停用词

stopwords = set(STOPWORDS)

stopwords.add('film')

wordcloud = WordCloud(

                background_color = 'black',

                random_state=9, # 设置一个随机种子，用于随机着色

                stopwords = stopwords,

                max_words = 3000,

                scale=1).generate(lis)

plt.figure(figsize=(10,6))

plt.imshow(wordcloud)

plt.axis('off')

plt.savefig('词云图.png',dpi=300)

plt.show()

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

5.3  when

 

查看 runtime 的类型，发现是 object 类型，也就是字符串，所以，先进行数据转化。

 

 

df.runtime.head(5)

df.info()

# 转换数据类型

df.runtime = df.runtime.convert_objects(convert_numeric=True)

df.runtime.describe()

print(df.runtime.head(5))

 

 

 

5.3.1   电影时长（绘制电影时长直方图）

 

 

 

# 可视化

sns.set_style('white')

sns.distplot(df.runtime,bins = 20)

sns.despine(left = True) # 使用despine()方法来移除坐标轴，默认移除顶部和右侧坐标轴

plt.xticks(range(50,360,20))

plt.savefig('电影时长直方图.png',dpi=300)

plt.show()

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

5.3.2   发行时间（绘制每月电影数量和单片平均票房）

 

 

fig = plt.figure(figsize=(8,6))



x = list(range(1,13))

y1 = df.groupby('release_month').revenue.size()

y2 = df.groupby('release_month').revenue.mean()# 每月单片平均票房



# 左轴

ax1 = fig.add_subplot(1,1,1)

plt.bar(x,y1,color='b',label='电影数量')

plt.grid(False)

ax1.set_xlabel('月份')                   # 设置x轴label ,y轴label

ax1.set_ylabel('电影数量',fontsize=16)

ax1.legend(loc=2,fontsize=12)



# 右轴

ax2 = ax1.twinx()

plt.plot(x,y2,'ro--',label='每月单片平均票房')

ax2.set_ylabel('每月单片平均票房',fontsize=16)

ax2.legend(loc=1,fontsize=12)



plt.savefig('每月电影数量和单片平均票房.png',dpi=300)

plt.show()

 

 

5.4  where

 

本数据集收集的是美国地区的电影数据，对于电影的制作公司以及制作国家，在本次的故事背景下不作分析。

5.5  who

 

5.5.1   分析票房分布及票房 Top10 的导演

 

 

 

 

 

 

# 创建数据框 - 导演

director_df = pd.DataFrame()

director_df = df[['director','revenue','budget','profit','vote_average']]

director_df = director_df.groupby(by = 'director').mean().sort_values(by='revenue',ascending = False) # 取均值

director_df.info()



# 绘制票房分布直方图

director_df['revenue'].plot.hist(bins=100, figsize=(8,6))

plt.xlabel('票房')

plt.ylabel('频数')

plt.title('不同导演执导的票房分布')

plt.savefig('不同导演执导的票房分布.png',dpi = 300)

plt.show()

 

 

 

 

 

 

 

5.5.2   分析评分分布及评分 Top10 的导演

 

 

 

#绘制导演评分直方图

director_df['vote_average'].plot.hist(bins=18, figsize=(8,6))

plt.xlabel('评分')

plt.ylabel('频数')

plt.title('不同导演执导的评分分布')

plt.savefig('不同导演执导的评分分布.png',dpi = 300)

plt.show()

# 评分均值Top10的导演

director_df.vote_average.sort_values(ascending = True).tail(10).plot(kind='barh',figsize=(8,6))

plt.xlabel('评分',fontsize = 16)

plt.ylabel('导演',fontsize = 16)

plt.title('评分排名Top10的导演',fontsize = 20)

plt.savefig('评分排名Top10的导演.png',dpi = 300)

plt.show()

 

 

 

 

 

 

 

 

 

 

5.6  how

 

5.6.1   原创 VS 改编占比（饼图）

 

 

# 创建数据框

original_df = pd.DataFrame()

original_df['keywords'] = df['keywords'].str.contains('based on').map(lambda x: 1 if x else 0)

original_df['profit'] = df['profit']

original_df['budget'] = df['budget']



# 计算

novel_cnt = original_df['keywords'].sum() # 改编作品数量

original_cnt = original_df['keywords'].count() - original_df['keywords'].sum() # 原创作品数量

# 按照 是否原创 分组

original_df = original_df.groupby('keywords', as_index = False).mean() # 注意此处计算的是利润和预算的平均值

# 增加计数列

original_df['count'] = [original_cnt, novel_cnt]

# 计算利润率

original_df['profit_rate'] = (original_df['profit'] / original_df['budget'])*100



# 修改index

original_df.index = ['original', 'based_on_novel']

# 计算百分比

original_pie = original_df['count'] / original_df['count'].sum()



# 绘制饼图

original_pie.plot(kind='pie',label='',startangle=90,shadow=False,autopct='%2.1f%%',figsize=(8,8))

plt.title('改编 VS 原创',fontsize=20)

plt.legend(loc=2,fontsize=10)

plt.savefig('改编VS原创.png',dpi=300)

plt.show()

 

 

 

 

5.6.2   原创 VS 改编预算/利润率（组合图）

 

 

# 创建数据框

original_df = pd.DataFrame()

original_df['keywords'] = df['keywords'].str.contains('based on').map(lambda x: 1 if x else 0)

original_df['profit'] = df['profit']

original_df['budget'] = df['budget']



# 计算

novel_cnt = original_df['keywords'].sum() # 改编作品数量

original_cnt = original_df['keywords'].count() - original_df['keywords'].sum() # 原创作品数量

# 按照 是否原创 分组

original_df = original_df.groupby('keywords', as_index = False).mean() # 注意此处计算的是利润和预算的平均值

# 增加计数列

original_df['count'] = [original_cnt, novel_cnt]

# 计算利润率

original_df['profit_rate'] = (original_df['profit'] / original_df['budget'])*100



# 修改index

original_df.index = ['original', 'based_on_novel']

# 计算百分比

original_pie = original_df['count'] / original_df['count'].sum()

 

x = original_df.index

y1 = original_df.budget

y2 = original_df.profit_rate



fig= plt.figure(figsize = (8,6))



# 左轴

ax1 = fig.add_subplot(1,1,1)

plt.bar(x,y1,color='b',label='平均预算',width=0.25)

plt.xticks(rotation=0, fontsize=12)  # 更改横坐标轴名称

ax1.set_xlabel('原创 VS 改编')                   # 设置x轴label ,y轴label

ax1.set_ylabel('平均预算',fontsize=16)

ax1.legend(loc=2,fontsize=10)



#右轴

# 共享x轴，生成次坐标轴

ax2 = ax1.twinx()

ax2.plot(x,y2,'ro-.',linewidth=5,label='平均利润率')

ax2.set_ylabel('平均利润率',fontsize=16)

ax2.legend(loc=1,fontsize=10) # loc=1,2,3,4分别表示四个角，和四象限顺序一致



# 将利润率坐标轴以百分比格式显示

import matplotlib.ticker as mtick

fmt='%.1f%%'

yticks = mtick.FormatStrFormatter(fmt)

ax2.yaxis.set_major_formatter(yticks)



plt.savefig('改编VS原创的预算以及利润率.png',dpi=300)

plt.show()

 

 

 

 

 

 

 

5.7  how much

 

5.7.1   计算相关系数（票房相关系数矩阵）

 

 

# 计算相关系数矩阵

revenue_corr = df[['runtime','popularity','vote_average','vote_count','budget','revenue']].corr()



sns.heatmap(

            revenue_corr,

            annot=True, # 在每个单元格内显示标注

            cmap="Blues", # 设置填充颜色：黄色，绿色，蓝色

#             cmap="YlGnBu", # 设置填充颜色：黄色，绿色，蓝色

#             cmap="coolwarm", # 设置填充颜色：冷暖色

            cbar=True,  # 显示color bar

            linewidths=0.5, # 在单元格之间加入小间隔，方便数据阅读

            # fmt='%.2f%%',  # 本来是确保显示结果是整数（格式化输出），此处有问题

           )

plt.savefig('票房相关系数矩阵.png',dpi=300)

plt.show()

 

 

 

 

 

 

 

 

5.7.2   票房影响因素散点图

 

 

# 绘制散点图

fig = plt.figure(figsize=(17,5))



# # 学习seaborn参考：https://www.jianshu.com/p/c26bc5ccf604

ax1 = plt.subplot(1,3,1)

ax1 = sns.regplot(x='budget', y='revenue', data=revenue_corr, x_jitter=.1,color='r',marker='x')

# marker: 'x','o','v','^','<'

# jitter:抖动项，表示抖动程度

ax1.text(1.6e8,2.2e9,'r=0.7',fontsize=16)

plt.title('budget-revenue-scatter',fontsize=20)

plt.xlabel('budget',fontsize=16)

plt.ylabel('revenue',fontsize=16)



ax2 = plt.subplot(1,3,2)

ax2 = sns.regplot(x='popularity', y='revenue', data=revenue_corr, x_jitter=.1,color='g',marker='o')

ax2.text(500,3e9,'r=0.59',fontsize=16)

plt.title('popularity-revenue-scatter',fontsize=18)

plt.xlabel('popularity',fontsize=16)

plt.ylabel('revenue',fontsize=16)



ax3 = plt.subplot(1,3,3)

ax3 = sns.regplot(x='vote_count', y='revenue', data=revenue_corr, x_jitter=.1,color='b',marker='v')

ax3.text(7000,2e9,'r=0.75',fontsize=16)

plt.title('voteCount-revenue-scatter',fontsize=20)

plt.xlabel('vote_count',fontsize=16)

plt.ylabel('revenue',fontsize=16)



fig.savefig('revenue.png',dpi=300)

plt.show()