观影大数据二

代码如下：

import matplotlib as matplotlib

import numpy as np

import pandas as pd

from pandas import DataFrame, Series

# 可视化显示在界面

# matplotlib inline

import matplotlib

import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来显示中文

plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号

# 学习seaborn参考：https://www.jianshu.com/p/c26bc5ccf604


import json

import warnings

warnings.filterwarnings('ignore')

# 设置显示的最大列、宽等参数，消掉打印不完全中间的省略号

# pd.set_option('display.max_columns', 1000)

pd.set_option('display.width', 1000)  # 加了这一行那表格的一行就不会分段出现了

# pd.set_option('display.max_colwidth', 1000)

# pd.set_option('display.height', 1000)

# 显示所有列

pd.set_option('display.max_columns', None)

# 显示所有行

pd.set_option('display.max_rows', None)

movies = pd.read_csv(
    'D:\\Study\\大三上\\软件需求\\大数据竞赛练习题\\data\\tmdb_5000_movies.csv',
    encoding='utf_8')

credits = pd.read_csv(
    'D:\\Study\\大三上\\软件需求\\大数据竞赛练习题\\data\\tmdb_5000_credits.csv',
    encoding='utf_8')

movies.info()  # 查看信息

credits.info()

# 两个数据框都有title列，以及movies.riginal_title

# 以上三个数据列重复，删除两个

del credits['title']

del movies['original_title']

# 连接两个csv文件

merged = pd.merge(movies, credits, left_on='id', right_on='movie_id', how='left')

# 删除不需要分析的列

df = merged.drop(['homepage', 'overview', 'spoken_languages', 'status', 'tagline', 'movie_id'], axis=1)

df.info()
# 查找缺失值记录-release_date

df[df.release_date.isnull()]
len(df.id.unique())
#日期处理
df['release_year'] = pd.to_datetime(df.release_date, format = '%Y-%m-%d',errors='coerce').dt.year

df['release_month'] = pd.to_datetime(df.release_date).apply(lambda x: x.month)

df['release_day'] = pd.to_datetime(df.release_date).apply(lambda x: x.day)

df.info()
#筛选数据
df.describe()
df = df[(df.vote_count >= 50) & (df.budget * df.revenue * df.popularity * df.vote_average != 0)].reset_index(
    drop='True')

df
json_column = ['genres', 'keywords', 'production_companies', 'production_countries', 'cast', 'crew']

# 1-json本身为字符串类型，先转换为字典列表

for i in json_column:
    df[i] = df[i].apply(json.loads)


# 提取name

# 2-将字典列表转换为以','分割的字符串

def get_name(x):
    return ','.join([i['name'] for i in x])


df['cast'] = df['cast'].apply(get_name)


# 提取derector

def get_director(x):
    for i in x:

        if i['job'] == 'Director':
            return i['name']


df['crew'] = df['crew'].apply(get_director)

for j in json_column[0:4]:
    df[j] = df[j].apply(get_name)

# 重命名

rename_dict = {'cast': 'actor', 'crew': 'director'}

df.rename(columns=rename_dict, inplace=True)

df.info()

df.head(5)
# 备份原始数据框original_df

org_df = df.copy()

df.reset_index().to_csv("大数据Movie_Dataset_Cleaned.csv")
# 定义一个集合，获取所有的电影类型

genre = set()

for i in df['genres'].str.split(','):  # 去掉字符串之间的分隔符，得到单个电影类型

    genre = set().union(i, genre)  # 集合求并集

    # genre.update(i) #或者使用update方法

print(genre)
genre.discard('') # 去除多余的元素

genre
# 将genre转变成列表

genre_list = list(genre)

# 创建数据框-电影类型

genre_df = pd.DataFrame()

# 对电影类型进行one-hot编码

for i in genre_list:
    # 如果包含类型 i，则编码为1，否则编码为0

    genre_df[i] = df['genres'].str.contains(i).apply(lambda x: 1 if x else 0)

# 将数据框的索引变为年份

genre_df.index = df['release_year']

genre_df.head(5)
# 计算得到每种类型的电影总数目，并降序排列

grnre_sum = genre_df.sum().sort_values(ascending=False)

# 可视化


colors = ['tomato', 'C0']

plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来显示中文

grnre_sum.plot(kind='bar', label='genres', color=colors, figsize=(12, 9))

plt.title('不同类型的电影数量总计', fontsize=20)

plt.xticks(rotation=60)

plt.xlabel('电影类型', fontsize=16)

plt.ylabel('数量', fontsize=16)

plt.grid(False)

plt.savefig("不同电影类型数量-条形图.png", dpi=300)  # 在 plt.show() 之前调用 plt.savefig()

plt.show()
gen_shares = grnre_sum / grnre_sum.sum()

# 设置other类，当电影类型所占比例小于%1时，全部归到other类中

others = 0.01

gen_pie = gen_shares[gen_shares >= others]

gen_pie['others'] = gen_shares[gen_shares < others].sum()

colors = ['tomato', 'lightskyblue', 'goldenrod', 'wheat', 'y', 'tomato', 'lightskyblue', 'goldenrod', 'wheat', 'y',
          'tomato', 'lightskyblue', 'goldenrod', 'wheat', 'y', 'tomato', 'lightskyblue', 'goldenrod', 'wheat', 'y',
          'lightskyblue']

# 设置分裂属性

# 所占比例小于或等于%2时，增大每块饼片边缘偏离半径的百分比

explode = (gen_pie <= 0.02) / 10

# 绘制饼图

gen_pie.plot(kind='pie', label='', colors=colors, explode=explode, startangle=0,

             shadow=False, autopct='%3.1f%%', figsize=(8, 8))

plt.title('不同电影类型所占百分比', fontsize=20)

plt.savefig("不同电影类型所占百分比-饼图.png", dpi=300)
# 电影类型随时间变化的趋势

gen_year_sum = genre_df.sort_index(ascending=False).groupby('release_year').sum()

gen_year_sum_sub = gen_year_sum[
    ['Action', 'Adventure', 'Crime', 'Romance', 'Science Fiction', 'Drama', 'Comedy', 'Thriller']]

gen_year_sum_sub.plot(figsize=(12, 9))

plt.legend(gen_year_sum_sub.columns)

plt.xticks(range(1915, 2018, 10))

plt.xlabel('年份', fontsize=16)

plt.ylabel('数量', fontsize=16)

plt.title('不同电影变化趋势', fontsize=20)

plt.grid(False)

plt.savefig("不同电影类型数量-折线图2.png", dpi=600)

plt.show()
# 计算不同电影类型的利润

# Step1-创建profit_dataframe

df['profit'] = df['revenue'] - df['budget']

profit_df = pd.DataFrame()

profit_df = pd.concat([genre_df.reset_index(), df['profit']], axis=1)

df.info()

# Step2-创建profit_series，横坐标为genre

profit_s = pd.Series(index=genre_list)

# Step3-求出每种genre对应的利润均值

for i in genre_list:
    profit_s.loc[i] = profit_df.loc[:, [i, 'profit']].groupby(i, as_index=False).mean().loc[1, 'profit']

profit_s = profit_s.sort_values(ascending=True)

profit_s

# 计算不同类型电影的budget

# Step1-创建profit_dataframe

budget_df = pd.DataFrame()

budget_df = pd.concat([genre_df.reset_index(), df['budget']], axis=1)

# Step2-创建budget_series，横坐标为genre

budget_s = pd.Series(index=genre_list)

# Step3-求出每种genre对应的预算均值

for j in genre_list:
    budget_s.loc[j] = budget_df.loc[:, [j, 'budget']].groupby(j, as_index=False).mean().loc[1, 'budget']

budget_s

# 再接着，横向合并 profit_s 和 budget_s

profit_budget = pd.concat([profit_s, budget_s], axis=1)

profit_budget.columns = ['profit', 'budget']

# 添加利润率列

profit_budget['rate'] = (profit_budget['profit'] / profit_budget['budget']) * 100

# 降序排序

profit_budget_sort = profit_budget.sort_values(by='budget', ascending=False)

profit_budget_sort.head(2)

# 绘制不同类型电影平均预算和利润率（组合图）

x = profit_budget_sort.index

y1 = profit_budget_sort.budget

y2 = profit_budget_sort.rate

# 返回profit_budget的行数

length = profit_budget_sort.shape[0]

fig = plt.figure(figsize=(12, 9))

# 左轴

ax1 = fig.add_subplot(1, 1, 1)

plt.bar(range(0, length), y1, color='C4', label='平均预算')

plt.xticks(range(0, length), x, rotation=90, fontsize=12)  # 更改横坐标轴名称

ax1.set_xlabel('年份')  # 设置x轴label ,y轴label

ax1.set_ylabel('平均预算', fontsize=16)

ax1.legend(loc=2, fontsize=12)

# 右轴

# 共享x轴，生成次坐标轴

ax2 = ax1.twinx()

ax2.plot(range(0, length), y2, 'ro-.')

ax2.set_ylabel('平均利润率', fontsize=16)

ax2.legend(loc=1, fontsize=12)

# 将利润率坐标轴以百分比格式显示

import matplotlib.ticker as mtick

fmt = '%.1f%%'

yticks = mtick.FormatStrFormatter(fmt)

ax2.yaxis.set_major_formatter(yticks)

# 设置图片title

ax1.set_title('不同类型电影平均预算和利润率', fontsize=20)

ax1.grid(False)

ax2.grid(False)

plt.savefig("不同电影平均预算+利润率.png", dpi=300)

plt.show()
from wordcloud import STOPWORDS

from wordcloud import WordCloud

keywords_list = []

for i in df['keywords']:

    keywords_list.append(i)

    keywords_list

#把字符串列表连接成一个长字符串

lis = ''.join(keywords_list)

lis.replace('\'s','')

#设置停用词

stopwords = set(STOPWORDS)

stopwords.add('film')

wordcloud = WordCloud(

                background_color = 'black',

                random_state=3,

                stopwords = stopwords,

                max_words = 3000,

                scale=1).generate(lis)

plt.figure(figsize=(10,6))

plt.imshow(wordcloud)

plt.axis('off')

plt.savefig('词云图.png',dpi=300)

plt.show()
df.runtime.head(5)
df.runtime = df.runtime.apply(pd.to_numeric, errors='coerce')

df.runtime.describe()
import seaborn as sns

sns.set_style('dark')

sns.distplot(df.runtime, bins=30)

sns.despine(left=True)  # 使用despine()方法来移除坐标轴，默认移除顶部和右侧坐标轴

plt.xticks(range(50, 360, 20))

plt.savefig('电影时长直方图.png', dpi=300)

plt.show()
fig = plt.figure(figsize=(12, 7))

x = list(range(1, 13))

y1 = df.groupby('release_month').revenue.size()

y2 = df.groupby('release_month').revenue.mean()  # 每月单片平均票房

# 左轴

ax1 = fig.add_subplot(1, 1, 1)

plt.bar(x, y1, color='C6', label='电影数量')

plt.grid(False)

ax1.set_xlabel('月份')  # 设置x轴label ,y轴label

ax1.set_ylabel('电影数量', fontsize=16)

ax1.legend(loc=2, fontsize=12)

# 右轴

ax2 = ax1.twinx()

plt.plot(x, y2, 'bo--', label='每月单片平均票房')

ax2.set_ylabel('每月单片平均票房', fontsize=16)

ax2.legend(loc=1, fontsize=12)

plt.savefig('每月电影数量和单片平均票房.png', dpi=300)
director_df = pd.DataFrame()

director_df = df[['director', 'revenue', 'budget', 'profit', 'vote_average']]

director_df = director_df.groupby(by='director').mean().sort_values(by='revenue', ascending=False)  # 取均值

director_df.info()

# 绘制票房分布直方图

director_df['revenue'].plot.hist(bins=100, figsize=(12, 12), color='C2')

plt.xlabel('票房')

plt.ylabel('频数')

plt.title('不同导演执导的票房分布')

plt.savefig('不同导演执导的票房分布.png', dpi=300)

plt.rcParams['font.sans-serif'] = ['SimHei']

plt.show()

# 票房均值Top10的导演

director_df.revenue.sort_values(ascending=True).tail(10).plot(kind='barh', figsize=(8, 6), color='C5')

plt.xlabel('票房', fontsize=16)

plt.ylabel('导演', fontsize=16)

plt.title('票房排名Top10的导演', fontsize=20)

plt.savefig('票房排名Top10的导演.png', dpi=300)

plt.show()
#绘制导演评分直方图

director_df['vote_average'].plot.hist(bins=18, figsize=(8,6),color='C8')

plt.xlabel('评分')

plt.ylabel('频数')

plt.title('不同导演执导的评分分布')

plt.savefig('不同导演执导的评分分布.png',dpi = 300)

plt.show()

# 评分均值Top10的导演

director_df.vote_average.sort_values(ascending = True).tail(10).plot(kind='barh',figsize=(8,6),color='C4')

plt.xlabel('评分',fontsize = 16)

plt.ylabel('导演',fontsize = 16)

plt.title('评分排名Top10的导演',fontsize = 20)

plt.savefig('评分排名Top10的导演.png',dpi = 300)

plt.show()
# 创建数据框

original_df = pd.DataFrame()

original_df['keywords'] = df['keywords'].str.contains('based on').map(lambda x: 1 if x else 0)

original_df['profit'] = df['profit']

original_df['budget'] = df['budget']

# 计算

novel_cnt = original_df['keywords'].sum() # 改编作品数量

original_cnt = original_df['keywords'].count() - original_df['keywords'].sum() # 原创作品数量

# 按照 是否原创 分组

original_df = original_df.groupby('keywords', as_index = False).mean() # 注意此处计算的是利润和预算的平均值

# 增加计数列

original_df['count'] = [original_cnt, novel_cnt]

# 计算利润率

original_df['profit_rate'] = (original_df['profit'] / original_df['budget'])*100

# 修改index

original_df.index = ['original', 'based_on_novel']

# 计算百分比

original_pie = original_df['count'] / original_df['count'].sum()

# 绘制饼图

original_pie.plot(kind='pie',label='',startangle=90,shadow=False,autopct='%2.1f%%',figsize=(8,8),colors=['C6','C8'])

plt.title('改编 VS 原创',fontsize=20)

plt.legend(loc=2,fontsize=10)

plt.savefig('改编VS原创.png',dpi=300)

plt.show()
# 创建数据框

original_df = pd.DataFrame()

original_df['keywords'] = df['keywords'].str.contains('based on').map(lambda x: 1 if x else 0)

original_df['profit'] = df['profit']

original_df['budget'] = df['budget']

# 计算

novel_cnt = original_df['keywords'].sum()  # 改编作品数量

original_cnt = original_df['keywords'].count() - original_df['keywords'].sum()  # 原创作品数量

# 按照 是否原创 分组

original_df = original_df.groupby('keywords', as_index=False).mean()  # 注意此处计算的是利润和预算的平均值

# 增加计数列

original_df['count'] = [original_cnt, novel_cnt]

# 计算利润率

original_df['profit_rate'] = (original_df['profit'] / original_df['budget']) * 100

# 修改index

original_df.index = ['original', 'based_on_novel']

# 计算百分比

original_pie = original_df['count'] / original_df['count'].sum()

x = original_df.index

y1 = original_df.budget

y2 = original_df.profit_rate

fig = plt.figure(figsize=(8, 6))

# 左轴

ax1 = fig.add_subplot(1, 1, 1)

plt.bar(x, y1, color='C9', label='平均预算', width=0.25)

plt.xticks(rotation=0, fontsize=12)  # 更改横坐标轴名称

ax1.set_xlabel('原创 VS 改编')  # 设置x轴label ,y轴label

ax1.set_ylabel('平均预算', fontsize=16)

ax1.legend(loc=2, fontsize=10)

# 右轴

# 共享x轴，生成次坐标轴

ax2 = ax1.twinx()

ax2.plot(x, y2, 'bo-.', linewidth=5, label='平均利润率')

ax2.set_ylabel('平均利润率', fontsize=16)

ax2.legend(loc=1, fontsize=10)  # loc=1,2,3,4分别表示四个角，和四象限顺序一致

# 将利润率坐标轴以百分比格式显示

import matplotlib.ticker as mtick

fmt = '%.1f%%'

yticks = mtick.FormatStrFormatter(fmt)

ax2.yaxis.set_major_formatter(yticks)

plt.savefig('改编VS原创的预算以及利润率.png', dpi=300)

plt.show()
# 计算相关系数矩阵

revenue_corr = df[['runtime', 'popularity', 'vote_average', 'vote_count', 'budget', 'revenue']].corr()

sns.heatmap(

    revenue_corr,

    annot=True,  # 在每个单元格内显示标注

    cmap="BuGn_r",  # 设置填充颜色：黄色，绿色，蓝色

    #             cmap="YlGnBu", # 设置填充颜色：黄色，绿色，蓝色

    #             cmap="coolwarm", # 设置填充颜色：冷暖色

    cbar=True,  # 显示color bar

    linewidths=0.5,  # 在单元格之间加入小间隔，方便数据阅读

    # fmt='%.2f%%',  # 本来是确保显示结果是整数（格式化输出），此处有问题

)

plt.savefig('票房相关系数矩阵.png', dpi=300)

plt.show()
# 票房影响因素散点图
fig = plt.figure(figsize=(17,5))

ax1 = plt.subplot(1,3,1)
ax1 = sns.regplot(x='budget', y='revenue', data=df, x_jitter=.1,color='r',marker='x')
# marker: 'x','o','v','^','<'
# jitter:抖动项，表示抖动程度
ax1.text(1.6e8,2.2e9,'r=0.7',fontsize=16)
plt.title('budget-revenue-scatter',fontsize=20)
plt.xlabel('budget',fontsize=16)
plt.ylabel('revenue',fontsize=16)

ax2 = plt.subplot(1,3,2)
ax2 = sns.regplot(x='popularity', y='revenue', data=df, x_jitter=.1,color='g',marker='o')
ax2.text(500,3e9,'r=0.59',fontsize=16)
plt.title('popularity-revenue-scatter',fontsize=18)
plt.xlabel('popularity',fontsize=16)
plt.ylabel('revenue',fontsize=16)

ax3 = plt.subplot(1,3,3)
ax3 = sns.regplot(x='vote_count', y='revenue', data=df, x_jitter=.1,color='b',marker='v')
ax3.text(7000,2e9,'r=0.75',fontsize=16)
plt.title('voteCount-revenue-scatter',fontsize=20)
plt.xlabel('vote_count',fontsize=16)
plt.ylabel('revenue',fontsize=16)
plt.savefig('revenue.png',dpi=300)
plt.show()