【大数据应用技术】作业八｜爬虫综合大作业（上）

本次作业的要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3075

前言

本次作业是爬取CBO中国票房2010-2019年每年年度票房排名前25的电影，通过爬取电影的名称、类型、总票房（万）、平均票价、均场人次、国家及地区以及上映时间等数据并对其进行数据分析从而得出相应结论。

网页爬虫

爬虫的代码如下所示：

 1 # -*- coding: utf-8 -*-
 2 import requests
 3 import time
 4 import re
 5 import csv
 6 import pandas as pd
 7 from bs4 import BeautifulSoup
 8 
 9 #设置URL固定部分
10 url='http://www.cbooo.cn/year?year='
11 #设置请求头部信息
12 headers = {
13     'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
14 }
15 #循环抓取列表页信息
16 for year in range(2010,2020):
17     if year == 2010:
18         year=str(year)
19         a=(url+year)
20         r=requests.get(url=a,headers=headers)
21         html=r.content
22     else:
23         year=str(year)
24         a=(url+year)
25         r=requests.get(url=a,headers=headers)
26         html2=r.content
27         html = html + html2
28     #每次间隔0.5秒
29     time.sleep(0.5)
30 move=BeautifulSoup(html,'html.parser')
31 #print(move)
32 #提取名称、类型、总票房（万）、平均票价、场均人次及国家及地区
33 result=move.find_all('td')
34 #print(result)
35 #print(len(result))
36 mname=[]
37 title=""
38 index=1
39 year=2009
40 for i in result:
41     i=str(i)
42     title=re.findall(r'</span>(.*?)</p>',i,re.I|re.M)
43     if len(title)>0:
44         mname.append(index)
45         index=index+1
46         mname.append(title[0])
47     else:
48         info=re.findall(r'<td>(.*?)</td>',i,re.I|re.M)
49         mname.append(info[0])
50 #print(len(mname))
51 #print(mname)
52 k=0
53 data=[]
54 while k<2000:
55     year=2010
56     year=year+(k//200)
57     data.append([mname[k],mname[k+1],mname[k+2],mname[k+3],mname[k+4],mname[k+5],mname[k+6],mname[k+7],year,1])
58     k=k+8
59 #print(data)
60 #print(len(data))#一共250条数据
61 #将结果存到CSV文件
62 with open('./data.csv','w') as fout:
63     cin= csv.writer(fout,lineterminator='\n')
64     #写入row_1    cin.writerow(["index","name","type","zpf","mantimes","price","area","datatime","year","mark"])
65     for item in data:
66         cin.writerow(item)
67 
68 data1 = pd.read_csv('./data.csv',encoding='gbk');

运行上述代码，我们可以发现爬虫的结果已经存为了data.csv文件。

数据分析

首先，把爬取到的数据存为csv文件，并放在本地中，打开csv文件，可以发现数据已经存进来了，如下图所示。

其次，根据所存数据对其进行数据分析，可以得出以下结论。

1.统计不同类型电影的平均票房

如下图所示是统计2010年-2019年不同类型电影的平均票房，由此可知2010年-2019年以来喜剧、奇幻、动作、科幻、剧情这几大类型的电影平均票房最多，最受欢迎。

2.分析十年间每年票房冠军的票房走势

按年份对电影进行排名发现2010年-2019年每年的票房冠军分别是阿凡达（2010年）、变形金刚（2011年）、人再囧途之泰囧（2012年）、西游降魔篇（2013年）、变形金刚4：绝迹重生（2014年）、捉妖记（2015年）、美人鱼（2016年）、战狼2（2017年）、红海行动（2018年）、流浪地球（2019年）。

通过统计我们不难发现，2010年以来，随着人们生活水平的提高，电影的综合票房逐年增加，越来越多的人进入电影院看电影。

下图所示为2019年票房排名，其中流浪地球、复仇者联盟4、疯狂的外星人这三大电影的票房最好，其中流浪地球更是高达465488万票房。