安装scrapy

安装scrapy:

1.pip3 install wheel
2.下载twisted  网址:https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted  如下图
3.cmd进入你所下载文件的目录，pip3 install 你下的文件名
4.pip3 install pywin32
5.pip3 install scrapy
 
大功告成！！！

创建scrapy项目

# 1. 在终端敲入命令：scrapy startproject 项目名  
# 2. cd 进你所创建的项目中  (这样第三步所创建的文件会自动加入进项目中的spider目录中)
# 3. 创建爬虫文件：scrapt genspider 文件名 url
# 文件内容
	import scrapy
    class FirstSpider(scrapy.Spider):
        # 爬虫文件的名称：根据名称可以定位到指定的爬虫文件
        name = 'first'
        # 允许的域名
        # allowed_domains = ['www.baidu.com']  # 一般会将其注释
        # 起始的url列表
        start_urls = ['https://www.baidu.com/']  # 创建文件时所写的起始url
 
        def parse(self, response):
            print(response)
# 4. 运行文件：scrapy crawl 文件名 【--nolog】不写时运行会出现log日志

第一次运行scrapy问题

# 第一次运行如果写了 --nolog不会出现结果
# 问题；第一种反爬机制 -- robots.txt
# 解决方法：在settings文件中修改配置  ROBOTSTXT_OBEY = False

配置UA

去所创建项目的settings.py配置
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36'

爬虫文件的返回值(response)

# parse方法的response是请求返回的返回值
div_list = response.xpath('')  #  div_list为一个列表对象，每一个元素为Selector对象
 
# 不过用法与lxml中etree.xpath用法一致
提取Selector的文本
1.xpath('//xx/x/text()').extract() # 该方法会将列表中所有的Selector中的文本全部提取
2.xpath('//xx/x/text()').extract_first() # 该方法会将列表中第一个Selector中的文本提取

持久化存储

1. 步骤：

# 注意:默认情况下,管道机制并没有开启.需要手动在配置文件中进行开启
 
# 使用管道进行持久化存储的流程:
# 1.获取解析到的数据值
# 2.将解析的数据值存储到item对象(item类中进行相关属性的声明)
# 3.通过yild关键字将item提交到管道
# 4.管道文件中进行持久化存储代码的编写(process_item)
# 5.在配置文件中开启管道

一.基于终端命令进行存储
	# 基于终端指令的持久化存储:可以通过终端指令的形式将parse方法的返回值中存储的数据进行本地磁盘的持久化存储
    # return all_data
    '''在终端运行文件 ：scrapy crawl 爬虫文件名 -o(存储文件命令)  xx.txt(不能存储为txt形式，可以先运行此命令，系统会提示可以将数据存储为何种形式)'''  如上图所示
    
二.基于数据库存储
    item.py:
        class BossproItem(scrapy.Item):
         '''define the fields for your item here like:
            name = scrapy.Field()
            title = scrapy.Field()
            salary = scrapy.Field()
            company = scrapy.Field()
         '''
        
    爬虫文件：实例化一个BossproItem对象
    		# item = BossproItem()
        	# item['xx'] = 所爬取的数据  xx为item中所定义的字段
           	....
            #将item对象提交给管道进行持久化存储
            yield item  # 包含你想要存储的数据  发送给pipelines.py
    
   pipelines.py:
    		如下图⬇⬇⬇⬇
        重写父类的方法：open_spider(self,spider)与close_spider(self,spider)
        # spider为你创建的爬虫文件对象
       

基于文件存储

基于mysql存储

基于Redis存储

# 一定记得开启管道！！！

scrapy的cookie处理

我们知道，一些网站的进入需要cookie
例如：QQ空间的登录等...如果我们爬虫需要模拟登录后需要拿到详情页面，需要携带cookie, 那么scrapy是如何处理cookie？
在一般情况下，我们会在登录后通过请求头拿到cookie，然后将cookie加入进headers中，然后拿到用户详情页面数据
scrapy不需要，只需要将配置修改  初始是注释（自动处理cookie），如果你发送请求时scrapy会携带cookie,不需要我们主动去获取cookie
			是不是很方便啊

scrapy发送post请求

# FormRequest可以发送post请求
# 该方法的formdata接收发送的数据，数据类型为字典

scrapy请求传参

 # 当使用scrapy进行数据爬取的时候,如果发现爬取的数据值没有在同一张页面中进行存储.则必须使用请求传参进行处理(持久化)
	#  将item实例化的对象作为全局变量会出点小问题 (值有些会被覆盖)
    #  scrapy.Request方法或scrapy.FormRequest方法中的meta可以传参，meta为一个字典类型
    #  接收时可以用response.meta接收然后赋给一个变量

提升爬取的效率

通常，我们使用多线程可以提升效率

scrapy可以通过修改配置提升爬取的效率

修改配置：
# 增加并发：
# 默认scrapy开启的并发线程为32个，可以适当进行增加。在settings配置文件中修改CONCURRENT_REQUESTS = 100值为100,并发设置成了为100。
CONCURRENT_REQUESTS = 10
 
# 降低日志级别：
#     在运行scrapy时，会有大量日志信息的输出，为了减少CPU的使用率。可以设置log输出信息为INFO或者ERROR即可。在配置文件中编写：
LOG_LEVEL = ‘INFO’   LOG_LEVEL = 'ERROR'
 
# 禁止cookie：
# 如果不是真的需要cookie，则在scrapy爬取数据时可以禁止cookie从而减少CPU的使用率，提升爬取效率。在配置文件中编写： 
COOKIES_ENABLED = False
 
# 禁止重试：
#     对失败的HTTP进行重新请求（重试）会减慢爬取速度，因此可以禁止重试。在配置文件中编写：
RETRY_ENABLED = False
 
# 减少下载超时：
#     如果对一个非常慢的链接进行爬取，减少下载超时可以能让卡住的链接快速被放弃，从而提升效率。在配置文件中进行编写：
DOWNLOAD_TIMEOUT = 10 超时时间为10s
 

UA池与代理池

先了解scrapy的框架

https://www.jianshu.com/p/8e78dfa7c368

看代码吧(说不太清，或者看书)

CrawlSpider

'crawlspider是Spider的派生类(一个子类)，Spider类的设计原则是只爬取start_url列表中的网页，而CrawlSpider类定义了一些规则(rule)来提供跟进link的方便的机制，从爬取的网页中获取link并继续爬取的工作更适合。'

crawlspider的使用

​ https://www.jianshu.com/p/a6a08b4f7c04

一.创建项目: scrapy startsproject 项目名
   cd 项目名
   创建爬虫文件：scrapy genspider -t crawl 文件名  起始url(www.xxx.com)

例 ：如下为创建的爬虫文件

# -*- coding: utf-8 -*-
import scrapy
# 导入CrawlSpider相关模块
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
 
# 表示该爬虫程序是基于CrawlSpider类的
class CrawldemoSpider(CrawlSpider):
    name = 'crawlDemo'    #爬虫文件名称
    #allowed_domains = ['www.qiushibaike.com']
    start_urls = ['http://www.qiushibaike.com/']
    
    #连接提取器：会去起始url响应回来的页面中提取指定的url
    link = LinkExtractor(allow=r'/8hr/page/\d+')
    #rules元组中存放的是不同的规则解析器（封装好了某种解析规则)
    rules = (
        #规则解析器：可以将连接提取器提取到的所有连接表示的页面进行指定规则（回调函数）的解析
        Rule(link, callback='parse_item', follow=True),
    )
    # 解析方法
    def parse_item(self, response):
        # print(response.url) 返回的是相似的url
        divs = response.xpath('//div[@id="content-left"]/div')
        for div in divs:
            author = div.xpath('./div[@class="author clearfix"]/a[2]/h2/text()').extract_first()
            print(author)
 
<!-- CrawlSpider类和Spider类的最大不同是CrawlSpider多了一个rules属性，其作用是定义”提取动作“。在rules中可以包含一个或多个Rule对象，在Rule对象中包含了LinkExtractor对象。 -->

分布式爬虫

-- 为了加快数据的爬取效率

步骤一.
	1.安装模块:pip3 install redis_scrapy
	2.创建项目 scrapy startsproject 项目名
	cd 项目名
	3.创建爬虫文件：scrapy genspider 文件名 起始url(www.xxx.com)
步骤二.修改爬虫文件
    1.导入scrapy_redis模块: from scrapy_redis.spiders import RedisSpider
    2.将当前爬虫的父类修改成 RedisSpider
    3.将allowed_domains和start_urls注释(分布式，不能每一个爬虫文件都有一个起始url)
    4.添加一个新的属性 redis_key = "xxx",该属性表示的是可以被共享的调度器队列的名称
步骤三.修改配置文件(settings.py)
    1.保证爬虫文件所提交的请求都会被提交到共享的调度器的队列中
    SCHEDULER = "scrapy_redis.scheduler.Scheduler"
    2.保证爬虫文件提交的item会被提交到共享的管道中
    ITEM_PIPELINES = {
    'scrapy_redis.pipelines.RedisPipeline': 400
    }
    3.配置最终数据存储的redis数据库
    REDIS_HOST = 'redis服务的ip地址'
    REDIS_PORT = 6379
    REDIS_ENCODING = ‘utf-8’
    REDIS_PARAMS = {‘password’:’123456’}
    4.redis数据库的配置文件进行配置:关闭保护模式和注释掉bind 127.0.0.1
    5.开启redis服务和客户端
    6.执行爬虫文件:scrapy runspider xxx.py
    7.向调度器队列中仍入一个起始的url:
        # 进入redis-cli中：lpush key value
        # key为redis_key
        # value为起始url
        
settings中加入如下配置：       
    # 使用的是可以被共享的调度器
    # 增加了一个去重容器类的配置, 作用使用Redis的set集合来存储请求的指纹数据, 从而实现请求去重的持久化
    DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
    # 使用scrapy-redis组件自己的调度器
    SCHEDULER = "scrapy_redis.scheduler.Scheduler"
    # 配置调度器是否要持久化, 也就是当爬虫结束了, 要不要清空Redis中请求队列和去重指纹的set。如果是True, 就表示要持久化存储, 就不清空数据, 否则清空数据
    SCHEDULER_PERSIST = True
    
 运行文件：
	***切换到spider目录下,运行命令：
    	scrapy runspider 爬虫文件.py
    运行文件后会卡在listen处  --->  等待一个url
    执行步骤三中的第7步，程序将继续向下执行

增量式爬虫

增量式爬虫:每次爬取网站中更新的数据.
定时爬虫:使用脚本在指定时间内进行一次数据(最新更新)的爬取.
 
爬取数据的流程:
    1.指定url
    2.根据指定的url发请求,获取页面数据
    3.持久化存储
 
案例:
实现增量式爬虫的方案:
    1.在发送请求之前,判断url之前是否爬取过
        a.将即将进行爬取的数据对应的url存储到redis的set中.
        
    2.根据爬取到的数据进行重复过滤,然后在进行持久化存储
        b.将爬取到的数据给其生成一个唯一的标识(可以将该标识作为mysql的列.可以将该标识存储到redis的set中)

自定义增量式爬虫

将爬取的url或数据进行唯一标识
ex = redis.sadd(key,value)
若ex返回值为1，则该数据将会放入redis数据库中
若返回为0，则说明redis数据库中存在该数据
判断ex的返回值可以进行爬取网页更新的数据
 
 
# 看爬虫文件的day07部分

定时爬虫