python的scrapy框架的使用 和xpath的使用 && scrapy中request和response的函数参数 && parse()函数运行机制
这篇博客主要是讲一下scrapy框架的使用，对于糗事百科爬取数据并未去专门处理
最后爬取的数据保存为json格式
一、先说一下pyharm怎么去看一些函数在源码中的代码实现
按着ctrl然后点击函数就行了
先给出项目的目录：
二、先说一下setting.py文件中一些变量的含义
BOT_NAME = 'qsbk' # 定义一下这个项目的根 # 以后想要把这个项目某一个文件中的某个内容导入到其他文件，就可以以“qsbk.文件名”来实现 # 例如： # from qsbk.items import QsbkItem # 这个意思就是将qsbk目录下的items.py文件中的QsbkItem类导入到此文件中
# 如果它的值为True，那么网站上没有爬虫协议，那么程序就会什么都不执行就停止运行 ROBOTSTXT_OBEY = False
DOWNLOAD_DELAY = 3 # 下载延迟打开，一方面防止ip被封，另一方面也不要给网站服务器太大压力
# 设置默认请求头 DEFAULT_REQUEST_HEADERS = { 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8', 'Accept-Language': 'en', 'user-agent': '' }
ITEM_PIPELINES = { 'qsbk.pipelines.QsbkPipeline': 300, # 通过管道输出数据，不解除这个注释，就不会运行pipelines.py一部分代码 # 值越小，优先级越高 }
携带cookie登录
# 后续的请求会自动携带之前的cookie (setting.py配置文件中不要禁用cookie，值为True) # 禁用cookie (默认开启cookie) # COOKIES_ENABLED = False COOKIES_DEBUG = True # 开启cookie的调试信息
二、start.py文件
因为每次执行scrapy都需要在命令行下执行，用惯了pycharm之后看着不太习惯，所以这个文件就是代替在命令行下输入执行爬虫命令，它的执行结果也会在pycharm上显示，这样就不用每次打开cmd去运行scrapy的爬虫程序了
start.py内容：
from scrapy import cmdline # qsbk_spider是你的爬虫程序文件，注意要把这个命令用split拆开 cmdline.execute("scrapy crawl qsbk_spider".split())
三、Item.py文件内容
import scrapy class QsbkItem(scrapy.Item): # 这个是固定写法，也就是给QsbkItem类定义两个变量 # Item是爬虫爬取到数据后，传递给管道去存储数据的单位。传递给管道pipelines.py的Item也可以是字典形式 # 可以自己定义字典，最后返回这个字典也可以，（返回什么数据可以根据自己喜好，你也可以返回列表） author = scrapy.Field() content = scrapy.Field()
四、pipelines.py文件
我们使用scrapy内置类来完成导出数据，可见这个类可以自动把item变成字典，所以我们就不用去多处理
同时在这个文件中有三个函数，其中两个open_spider和close_spider文件中没有给我们定义，我们需要自己定义。这两个函数一个在爬虫开始时执行，一个在爬虫执行结束时执行
文件代码：
''' 下面给出两种不同类型的内置保存数据方式，请根据需求使用 当然也可以不使用内置函数来保存数据，可以自己写 ''' # from scrapy.exporters import JsonItemExporter # 每次会把数据放在内存，最后在一次性写入文件，存储的是一个josn类型的文件 # 坏处是比较耗费内存 # class QsbkPipeline: # def __init__(self): # self.fp = open('duanzi.json','wb') # self.exporter = JsonItemExporter(self.fp,ensure_ascii=False,encoding='utf-8') # self.exporter.start_exporting() # # def open_spider(self): # print('爬虫开始了') # def process_item(self, item, spider): # self.exporter.export_item(item) # return item # # def close_spider(self): # self.exporter.finish_exporting() # self.fp.close() # print('爬虫结束了') from itemadapter import ItemAdapter # 每次调用export_item就会把itrm存放在磁盘，坏处是每一次字典是一行，整个文件不是一个字典，好处是 # 每次写入磁盘，不会占用大量内存 from scrapy.exporters import JsonLinesItemExporter class QsbkPipeline: def __init__(self): self.fp = open('duanzi.json','wb') self.exporter = JsonLinesItemExporter(self.fp,ensure_ascii=False,encoding='utf-8') # self.exporter.start_exporting() def open_spider(self,spider): # 爬虫开始的时候会执行 print('爬虫开始了') def process_item(self, item, spider): # 当有item输出传来的时候会执行 # 这样的话我们就不需要先将item转换为字典形式再去保存，我们可以直接传给导出器exporter self.exporter.export_item(item) # 只有下面return了，我们才可以对下一个item进行操作 return item def close_spider(self,spider): # 爬虫结束会执行 # self.exporter.finish_exporting() self.fp.close() print('爬虫结束了')
五、qsbk_spider文件
import scrapy from scrapy.http.response.html import HtmlResponse from scrapy.selector.unified import SelectorList from qsbk.items import QsbkItem class QsbkSpiderSpider(scrapy.Spider): name = 'qsbk_spider' # 同一类爬虫名字要相同，以便于命令行下运行 allowed_domains = ['qiushibaike.com'] # 控制爬虫范围，以访爬虫通过其他链接，爬到其他网站 # start_url可以传一个url也可以多个，这个url会传给引擎，然后引擎会传给调度器，调度器又会处理后传到 # 引擎，之后引擎传给下载器，下载器将数据又通过引擎传递到爬虫的parse函数，它的参数response就是返回的数据 start_urls = ['https://www.qiushibaike.com/text'] base_url = 'https://www.qiushibaike.com' def parse(self, response): # selectorlist duanzidivs = response.xpath('//*[@id="content"]/div/div[2]/div') #获取包含所有段子的div for duanzidiv in duanzidivs: # selector # get()方法回去的是selector的第一个文本，get_all()获取的是所有文本 author = duanzidiv.xpath(".//div[1]/a[2]/h2/text()").get().strip() content = duanzidiv.xpath(".//a[1]/div/span[1]/text()").getall() # getall方法会将所有文本信息转变成一个队列，然后转换成一个字段 content = ".".join(content).strip() # strip方法就是消除content字符串前后行 item = QsbkItem(author=author,content=content) yield item # 让这个函数变成一个生成器函数 # 找到下一页按钮，并提取出里面href的内容，之后链接拼接形成新的url next_url = response.xpath('//*[@id="content"]/div/div[2]/ul/li[8]/a/@href').get() if not next_url: return else: yield scrapy.Request(self.base_url+next_url,callback=self.parse)
六、xpath的简单使用
1、选取节点
| 表达式 | 描述 | 实例 | |
| nodename | 选取nodename节点的所有子节点 | xpath(‘//div’) | 选取了div节点的所有子节点 |
| / | 从根节点选取 | xpath(‘/div’) | 从根节点上选取div节点 |
| // | 选取所有的当前节点，不考虑他们的位置 | xpath(‘//div’) | 选取所有的div节点 |
| . | 选取当前节点 | xpath(‘./div’) | 选取当前节点下的div节点 |
| .. | 选取当前节点的父节点 | xpath(‘..’) | 回到上一个节点 |
| @ | 选取属性 | xpath（’//@calss’） | 选取所有的class属性 |
2、嵌在方括号内，用来查找某个特定的节点或包含某个制定的值的节点
| 表达式 | 结果 |
| xpath(‘/body/div[1]’) | 选取body下的第一个div节点 |
| xpath(‘/body/div[last()]’) | 选取body下最后一个div节点 |
| xpath(‘/body/div[last()-1]’) | 选取body下倒数第二个div节点 |
| xpath(‘/body/div[positon()<3]’) | 选取body下前两个div节点 |
| xpath(‘/body/div[@class]’) | 选取body下带有class属性的div节点 |
| xpath(‘/body/div[@class=”main”]’) | 选取body下class属性为main的div节点 |
| xpath(‘/body/div[price>35.00]’) | 选取body下price元素值大于35的div节点 |
3、通配符
| 表达式 | 结果 |
| xpath（’/div/*’） | 选取div下的所有子节点 |
| xpath(‘/div[@*]’) | 选取所有带属性的div节点 |
4、相对路径查询
| 轴名称 | 表达式 | 描述 |
| ancestor | xpath(‘./ancestor::*’) | 选取当前节点的所有先辈节点（父、祖父） |
| ancestor-or-self | xpath(‘./ancestor-or-self::*’) | 选取当前节点的所有先辈节点以及节点本身 |
| attribute | xpath(‘./attribute::*’) | 选取当前节点的所有属性 |
| child | xpath(‘./child::*’) | 返回当前节点的所有子节点 |
| descendant | xpath(‘./descendant::*’) | 返回当前节点的所有后代节点（子节点、孙节点） |
| following | xpath(‘./following::*’) | 选取文档中当前节点结束标签后的所有节点 |
| following-sibing | xpath(‘./following-sibing::*’) | 选取当前节点之后的兄弟节点 |
| parent | xpath(‘./parent::*’) | 选取当前节点的父节点 |
| preceding | xpath(‘./preceding::*’) | 选取文档中当前节点开始标签前的所有节点 |
| preceding-sibling | xpath(‘./preceding-sibling::*’) | 选取当前节点之前的兄弟节点 |
| self | xpath(‘./self::*’) | 选取当前节点 |
5、模糊查询
| 函数 | 用法 | 解释 |
| starts-with | xpath(‘//div[starts-with(@id,”ma”)]‘) | 选取id值以ma开头的div节点 |
| contains | xpath(‘//div[contains(@id,”ma”)]‘) | 选取id值包含ma的div节点 |
| and | xpath(‘//div[contains(@id,”ma”) and contains(@id,”in”)]‘) | 选取id值包含ma和in的div节点 |
| text() | xpath(‘//div[contains(text(),”ma”)]‘) | 选取节点文本包含ma的div节点 |
七、scrapy中request和response的函数参数
meta使用举例：
你在本级页面的上一级页面提取到了部分本级页面的信息，你就可以不用重复提取这部分“在上级页面提取的内容”，可以通过传参来完成
八、parse()函数运行机制
参考：https://blog.csdn.net/qq_43546676/article/details/89058986
1. 因为使用的yield，而不是return。parse函数将会被当做一个生成器使用。scrapy会逐一获取parse方法中生成的结果，并判断该结果是一个什么样的类型；
2. 如果是request则加入爬取队列，如果是item类型则使用pipeline处理，其他类型则返回错误信息。
3. scrapy取到第一部分的request不会立马就去发送这个request，只是把这个request放到队列里，然后接着从生成器里获取；
4. 取尽第一部分的request，然后再获取第二部分的item，取到item了，就会放到对应的pipeline里处理；
5. parse()方法作为回调函数(callback)赋值给了Request，指定parse()方法来处理这些请求 scrapy.Request(url, callback=self.parse)
6. Request对象经过调度，执行生成 scrapy.http.response()的响应对象，并送回给parse()方法，直到调度器中没有Request（递归的思路）
7. 取尽之后，parse()工作结束，引擎再根据队列和pipelines中的内容去执行相应的操作；
8. 程序在取得各个页面的items前，会先处理完之前所有的request队列里的请求，然后再提取items。
9. 这一切的一切，Scrapy引擎和调度器将负责到底。
由此可见，不是只有parse中的对象能返回给pipelines中，如果你继续对parse方法，继续用回调函数
yield Request(url, headers=header, callback=next)则回调函数中返回的item也可以在pipelines.py中，进行数据处理。
另外，在yield后面代码也要注意，因为，它会先执行yield后面代码，执行完后，再到request队列中取request，才会调用回调函数。
九、中间件的使用（以设置随机请求头为例）
通过对http://httpbin.org/user-agent 的访问，验证随机请求头设置是否成功
scrapy.Requst的dont_filter属性是用来通知这个请求是否要被去重机制处理
去重也就是如果这个链接之前被访问过，那么就不会再访问它（scrapy中默认是去重，值为False）
1、首先再middleware.py中定义一个随机请求头的类
class UserAgentMiddleWare: User_Agent = [ "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50", "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50", "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0", "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko", "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)", "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)", "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1", "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1", "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11", "Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; TencentTraveler 4.0)", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; The World)", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Avant Browser)", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)", "Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5", "Mozilla/5.0 (iPod; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5", "Mozilla/5.0 (iPad; U; CPU OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5", "Mozilla/5.0 (Linux; U; Android 2.3.7; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1" ] def process_request(self,request,spider): user_agent = random.choice(self.User_Agent) request.headers['User-Agent'] = user_agent
2、然后再setting.py中激活中间件
DOWNLOADER_MIDDLEWARES = { 'qsbk.middlewares.UserAgentMiddleWare': 543, }
3、之后在原来qsbk_spider.py中改一下就可以了
import scrapy from scrapy.http.response.html import HtmlResponse from scrapy.selector.unified import SelectorList from qsbk.items import QsbkItem import json class QsbkSpiderSpider(scrapy.Spider): name = 'qsbk_spider' allowed_domains = ['httpbin.org'] start_urls = ['http://httpbin.org/user-agent'] def parse(self, response): user_agent = json.loads(response.text)['user-agent'] print('='*30) print(user_agent) print('='*30) # dont_filter=True这样的话链接就不会通过去重机制，而直接请求 yield scrapy.Request(url=self.start_urls[0],dont_filter=True)
在scrapy的引擎到下载器之间的中间件，我们可以复写两个函数来完成我们的一些操作，一个是process_request和process_response
具体内容如下
