scrapy抓取豆瓣电影相关数据
1. 任务分析及说明
目标网站：https://movie.douban.com/tag/#/
抓取豆瓣电影上，中国大陆地区，相关电影数据约1000条；数据包括：电影名称、导演、主演、评分、电影类型、语言、上映时间、短评top20等数据；
1.1 Fiddler抓包要点分析：
请求均为GET请求；拼接后的URL为是https://movie.douban.com/j/new_search_subjects?sort=U&range=0,10&tags=电影&start=0
其中，range表示评分区间（0,10表示筛选评分在0-10之间的电影）；
tags表示分类类别（电影?剧集？）；
第一次请求默认返回20部电影相关信息，start=0；点击加载更多start=20，即每次点击一次加载更多，start增加20；
返回数据为json格式，数据包括电影名称、导演、电影详情的URL等信息；
从json数据中提取电影详情页的URL，访问并抓取详情信息；
抓取电影短评时，只抓取了最前面的20条，并利用//拼接成一个字符串，数据保存为excel形式。
2. 代码逻辑
2.1 项目创建
利用scrapy的基本命令创建项目、爬虫等，在此不细说，直接上命令。
scrapy startproject DoubanMovie # 创建项目
cd DoubanMovie # 进入项目目录
scrapy genspider douban douban.movie.com # 创建爬虫
2.2 明确抓取字段
scrapy爬虫的套路都相似，创建项目后首先明确爬取字段；其次，编写爬虫逻辑；然后，编写数据保存逻辑；最后，做一些修修补补的工作，例如添加请求头啊，注册通道呀等等。
来到items.py文件中，明确要抓取的字段。
# -*- coding: utf-8 -*- import scrapy class DoubanmoviesItem(scrapy.Item): # 电影名称 filmtitle = scrapy.Field() # 电影评分 moviemark = scrapy.Field() # 导演名称 moviedirt = scrapy.Field() # 电影主演 movierole = scrapy.Field() # 电影类型 movietype = scrapy.Field() # 制片地区 moviearea = scrapy.Field() # 语言类型 movielang = scrapy.Field() # 上映时间 moviedate = scrapy.Field() # 剧情简介 moviesyno = scrapy.Field() # 电影短评 moviecoms = scrapy.Field() # # 电影影评 # movierews = scrapy.Field()
2.3 爬虫逻辑
明确抓取字段后，开始到spiders文件夹下的douban.py中编写爬虫逻辑。豆瓣电影返回的数据为json格式，对json格式的数据进行解析，从中提取到电影详情页的url，访问并从中提取详细信息。
# -*- coding: utf-8 -*- import re import json import scrapy from DoubanMovies.items import DoubanmoviesItem class DoubanSpider(scrapy.Spider): name = 'douban' allowed_domains = ['movie.douban.com'] # start_urls = ['http://movie.douban.com/'] start = 0 # 指定参数 formdata = { 'sort': 'U', 'range': '0, 10', 'tags': '电影', 'start': '0', 'countries': '中国大陆' # 这里只抓取中国大陆地区，其他地区可做相应修改 } base_url = 'https://movie.douban.com/j/new_search_subjects' def start_requests(self): # 构造初始请求url url = self.base_url + '?' + 'sort={}&range={}&tags={}&start={}&countries={}'.format( self.formdata['sort'], self.formdata['range'], self.formdata['tags'], self.formdata['start'], self.formdata['countries'] ) # 发起请求 yield scrapy.Request( url=url, callback=self.parse, meta={'formdata': self.formdata} ) def parse(self, response): """ 豆瓣默认返回json格式的数据 :param response: :return: """ formdata = response.meta['formdata'] # 将json格式的数据转化为字典 data_list = json.loads(response.body.decode())['data'] # 数据解析 for data in data_list: # 从json数据中解析基本信息 item = DoubanmoviesItem() item['filmtitle'] = data['title'] item['moviemark'] = data['rate'] item['moviedirt'] = ' '.join(data['directors']) item['movierole'] = ' '.join(data['casts']) # 拿到详情页链接，获取影评等信息 detail_url = data['url'] yield scrapy.Request( url=detail_url, callback=self.parse_detail, meta={'item': item, 'formdata': formdata} # 传入item到parse_detail，继续解析数据 ) if not self.start == 1000: # 抓取1020条数据 self.start += 20 formdata = self.formdata formdata['start'] = str(self.start) url = self.base_url + '?' + 'sort={}&range={}&tags={}&start={}&countries={}'.format( formdata['sort'], formdata['range'], formdata['tags'], formdata['start'], formdata['countries']) yield scrapy.Request( url=url, callback=self.parse, meta={'formdata': formdata} ) def parse_detail(self, response): """ 从详情页解析其他信息 :param response: :return: """ formdata = response.meta['formdata'] item = response.meta['item'] item['movietype'] = '/'.join(response.xpath("//div[@id='info']/span[@property='v:genre']/text()").extract()) item['moviearea'] = formdata['countries'] item['movielang'] = ''.join(re.findall('<span class="pl">语言:</span>(.*?)<br/>', response.body.decode())) item['moviedate'] = '/'.join(response.xpath("//div[@id='info']/span[@property='v:initialReleaseDate']/text()").extract()) item['moviesyno'] = response.xpath("//div[@id='link-report']/span[1]/text()").extract_first().strip() # 新页面解析电影短评 coms_url = response.xpath("//div[@id='comments-section']/div[1]/h2/span/a/@href").extract_first() yield scrapy.Request( url=coms_url, callback=self.parse_coms, # 在parse_coms中提取电影短评，这里只提取前20 meta={'item': item} ) def parse_coms(self, response): """ 解析电影短评top20，将20条短评以//拼接成一个字符串 :param response: :return: """ item = response.meta['item'] # 提取短评top20 coms_list = response.xpath("//div[@id='comments']/div[@class='comment-item']/div[@class='comment']/p/span/text()").extract() item['moviecoms'] = '//'.join(coms_list) yield item
2.4 数据保存
编写完爬虫逻辑后，来到pipelines.py文件中编写保存数据逻辑。这里将数据保存为excel格式。
# -*- coding: utf-8 -*- from openpyxl import Workbook class DoubanmoviesPipeline(object): def __init__(self): # 创建excel表格保存数据 self.workbook = Workbook() self.booksheet = self.workbook.active self.booksheet.append(['电影名称', '评分', '导演', '主演', '电影类型', '制片地区', '语言类型', '上映时间', '剧情简介', '短评(top20)']) def process_item(self, item, spider): DATA = [ item['filmtitle'], item['moviemark'], item['moviedirt'], item['movierole'], item['movietype'], item['moviearea'], item['movielang'], item['moviedate'], item['moviesyno'], item['moviecoms']] self.booksheet.append(DATA) self.workbook.save('./results.xls') return item
2.5 其他
1. 通道注册，包括下载中间件，pipelines等的注册，还有不遵循爬虫协议
2. 延时处理，在settings.py文件中添加
DOWNLOAD_DELAY = 5 # 每个请求延迟5秒
3. 添加请求头
在下载中间件（middlewares.py）中给每个请求添加请求头
# -*- coding: utf-8 -*- from DoubanMovies.settings import USER_AGENTS as ua import random class DoubanmoviesDownloaderMiddleware(object): def process_request(self, request, spider): """ 给每一个请求随机分配一个代理 :param request: :param spider: :return: """ user_agent = random.choice(ua) request.headers['User-Agent'] = user_agent
4. 将运行命令写在main.py文件中
from scrapy import cmdline cmdline.execute('scrapy crawl douban'.split())
