python从入门到放弃自学笔记2-scrapy框架中的parse()方法工作机制及应用
1. 因为使用的yield,而不是return。parse函数将会被当做一个生成器使用。scrapy会逐一获取parse方法中生成的结果,并判断该结果是一个什么样的类型;
2. 如果是request则加入爬取队列,如果是item类型则使用pipeline处理,其他类型则返回错误信息。
3. scrapy取到第一部分的request不会立马就去发送这个request,只是把这个request放到队列里,然后接着从生成器里获取;
4. 取尽第一部分的request,然后再获取第二部分的item,取到item了,就会放到对应的pipeline里处理;
5. parse()方法作为回调函数(callback)赋值给了Request,指定parse()方法来处理这些请求 scrapy.Request(url, callback=self.parse)
6. Request对象经过调度,执行生成 scrapy.http.response()的响应对象,并送回给parse()方法,直到调度器中没有Request(递归的思路)
7. 取尽之后,parse()工作结束,引擎再根据队列和pipelines中的内容去执行相应的操作;
8. 程序在取得各个页面的items前,会先处理完之前所有的request队列里的请求,然后再提取items。
下面是利用parse函数循环爬取多个页面的一个实例:
继续上次的例子,上次的爬虫代码中只爬取了一个页面的内容,如果想要爬取多个链接的内容,可以在每个页面的下一页这个标签中来获取它的链接,并且在parse()函数中生成一个request,存入爬取队列,在通过得到的一个又一个的response对象来获取页面信息,生成item,再将item传给pipelines进行数据的储存。
下面贴上爬虫的代码:
# -*- coding: utf-8 -*- import scrapy from sc.items import ScItem class QsbkSpiderSpider(scrapy.Spider): name = 'qsbk_spider' #allowed_domains = ['http://www.lovehhy.net'] start_urls = ['http://www.lovehhy.net/Default.aspx'] baseUrl = "http://www.lovehhy.net" def parse(self, response): node_title_list = response.xpath("//div[@class='post_recommend_new']/h3/a/text()").extract() node_time_list = response.xpath("//div[@class='post_recommend_new']/div[@class='post_recommend_time']/text()").extract() items = [] for i in range(len(node_title_list)): item = ScItem() title = node_title_list[i] time = node_time_list[i] item = ScItem(title=title, time=time) # 产生item yield item # 提取下一页的li标签 next_url = response.xpath("//div[@id='dig_lcpage']/div[@id='ct_page']/ul/li[last()]/a/text()").extract()[0] # print("是否下一页的位置是%s" ,str(next_url)) # 提取待拼接的分页部分字符串 url_pae = response.xpath("//div[@id='dig_lcpage']/div[@id='ct_page']/ul/li[last()]/a/@href").extract() print(url_pae) if "下一页" in next_url: real_url = self.baseUrl + url_pae[0] print(real_url) yield scrapy.Request(real_url, callback=self.parse) else: return
爬好的数据: