20200228 scrapy高级使用及分布式

昨日回顾

1 安装 pip3 install scrapy
2 创建项目:scrapy startproject 项目名字
3 创建爬虫:scrapy genspider 爬虫名字 地址
4 运行爬虫:scrapy crawl 爬虫名字
5 目录结构
6 setting的配置
7 css选择和xpath选择(extract_first(),extract())
8 持久化:pipline方式

scrapy高级使用及分布式

1.爬虫件参数

yield Request(url=url,callback=self.parse,meta={'item':item})

# 参数
url			再次请求的地址
callback	回调函数(处理数据)
meta		请求传参

2.提升scrapy爬取的效率

- 在配置文件中进行相关的配置即可:(默认还有一套setting)
    
#1 增加并发:
默认scrapy开启的并发线程为32个,可以适当进行增加。在settings配置文件中修改CONCURRENT_REQUESTS = 100值为100,并发设置成了为100。

#2 降低日志级别:
在运行scrapy时,会有大量日志信息的输出,为了减少CPU的使用率。可以设置log输出信息为INFO或者ERROR即可。在配置文件中编写:LOG_LEVEL = ‘INFO’

# 3 禁止cookie:
如果不是真的需要cookie,则在scrapy爬取数据时可以禁止cookie从而减少CPU的使用率,提升爬取效率。在配置文件中编写:COOKIES_ENABLED = False

# 4禁止重试:
对失败的HTTP进行重新请求(重试)会减慢爬取速度,因此可以禁止重试。在配置文件中编写:RETRY_ENABLED = False

# 5 减少下载超时:
如果对一个非常慢的链接进行爬取,减少下载超时可以能让卡住的链接快速被放弃,从而提升效率。在配置文件中进行编写:DOWNLOAD_TIMEOUT = 10 超时时间为10s

3.scrapy的中间件(下载中间件)

-DownloaderMiddleware

	-process_request
        -retrun None/Respnose/Request/raise
        -None:表示继续处理
        -Respnose:会被引擎调度,进入爬虫
        -Request:会被引擎调度,放到调度器,等待下一次爬取
        -raise:process_exception触发执行
        
	-process_response
        -Response:继续处理,会被引擎调度,放到爬虫中解析
        -Request:会被引擎调度,放到调度器,等待下一次爬取
        -raise:process_exception触发执行
        
    -process_exception
        -None:表示继续处理
        -Respnose:会被引擎调度,进入爬虫
        -Request:会被引擎调度,放到调度器,等待下一次爬取

process_exception

def process_exception(self, request, exception, spider):
       from scrapy.http import Request
       print('xxxx')
       # request.url='https://www.baidu.com/'
       request=Request(url='https://www.baidu.com/')
       return request

process_request

	def process_request(self, request, spider):
        # 请求头
        # print(request.headers)
        # request.headers['User-Agent']=random.choice(self.user_agent_list)

        # 设置cookie(并不是所有的请求,都需要带cookie,加一个判断即可)
        # 可以使用cookie池
        # print(request.cookies)
        # # import requests # 如果自己搭建cookie池,这么写
        # # ret=requests.get('127.0.0.1/get').json()['cookie']
        # # request.cookies=ret
        # request.cookies={'name':'lqz','age':18}

        # 使用代理(使用代理池)
        # print(request.meta)
        # request.meta['proxy'] = 'http://117.27.152.236:1080'
        return None

process_response

  def process_response(self, request, response, spider):
				#详见下面
        return response

4.scrapy中使用selenium

1 在爬虫中启动和关闭selenium
	-启动
  	bro = webdriver.Chrome('./chromedriver')
  -关闭
  	  def closed(self,spider):
        print("爬虫结束,会走我关了")
        self.bro.close()
     
    
    
    
2 在下载中间件中写
    def process_response(self, request, response, spider):
        from scrapy.http import Response,HtmlResponse
        # 因为向该地址发请求,不能执行js,现在用selenium执行js,获取执行完的结果,再返回response对象
        url=request.url
        spider.bro.get(url)
        page_source=spider.bro.page_source
        new_response=HtmlResponse(url=url,body=page_source,encoding='utf-8',request=request)
        return new_response

5.去重规则

如何自己写去重规则,布隆过滤器

from scrapy.dupefilter import RFPDupeFilter
from scrapy.core.scheduler import Scheduler

# 整个去重规则是通过RFPDupeFilter中的request_seen控制
# 在调度器Scheduler中的enqueue_request调用,如果dont_filter=True就不过滤了

# scrapy中如下两个地址,是同一个地址,通过request_fingerprint处理了
# http://www.baidu.com/?name=lqz&age=18
# http://www.baidu.com/?age=18&name=lqz
res1=Request(url='http://www.baidu.com/?name=lqz&age=18')
res2=Request(url='http://www.baidu.com/?age=18&name=lqz')
print(request_fingerprint(res1))
print(request_fingerprint(res2))


# 有更省空间的方式
bitmap方式:比特位:计算机的存储单位  1bit    byte=8个比特位    1kb=1024b   
布隆过滤器:BloomFilter:原理


# 自己重写去重规则
# 1 在setting中配置
DUPEFILTER_CLASS = 'scrapy.dupefilter.RFPDupeFilter' #默认的去重规则帮我们去重,去重规则在内存中
# 写一个类,继承BaseDupeFilter,重写方法,主要重写request_seen,如果返回True表示有了,False表示没有

6.分布式爬虫

# scrapy-redis
# 概念:整站爬取,假设有9w条连接地址,一台机器一天只能爬3w条,爬3天
#			现在想用3台机器爬一天
# scrapy项目部署在3台机器上,三台机器重复的爬9w条,3台机器共享爬取的地址,
# 3台机器都去一个队列中取地址爬取

#scrapy-redis 重写了Scheduler和pipline
pip3 install scrapy-redis
#https://github.com/rmax/scrapy-redis :整个源码总共不超过1000行

使用

安装scrapy-redis
pip install scrapy_redis

1 在setting中配置

# 分布式爬虫的配置
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# Ensure all spiders share same duplicates filter through redis.
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"

ITEM_PIPELINES = {
    'scrapy_redis.pipelines.RedisPipeline': 300
}

2 修改爬虫类

	class CnblogsSpider(RedisSpider): # 继承RedisSpider
    name = 'cnblogs'
    allowed_domains = ['www.cnblogs.com']

    redis_key = 'myspider:start_urls'  # 原来的start_ulr去掉,携写成这个

3 项目部署

把项目部署到不同的机器上,或者同一个机器开启多个?

4 redis中写去启动url

# 启动cmd或者redis服务
- redis-cli
- lpush myspider:start_urls https://www.cnblogs.com/(初始网址)

代码

全站爬取博客园

run.py启动文件

#-*- coding: utf-8 -*-
#!/usr/bin/env python3

' a test module '

__author__ = 'Fwzzz'


from scrapy.cmdline import execute

# execute(['scrapy','crawl','cnblogs','--nolog'])
# execute(['scrapy','crawl','cnblogs'])

# 分布式爬虫
execute(['scrapy','crawl','cnblogs_redis','--nolog'])

爬虫文件cnblogs.py

# -*- coding: utf-8 -*-
import scrapy
from scrapy.http import Request
# 导入items文件类
from cnblog_pa.items import CnblogPaItem


# 了解: 究竟真正的起始爬取的方法在哪  start_requests()
class CnblogsSpider(scrapy.Spider):
    name = 'cnblogs'
    allowed_domains = ['www.cnblogs.com']
    # start_urls = ['https://www.cnblogs.com//']


    def start_requests(self):
        # # 深度爬取
        # # 获取所有的页码,进行url拼接  https://www.cnblogs.com/#p2
        # html = Request(url='https://www.cnblogs.com/')
        # last_p = html.css('div[p_200 last]').extract()
        # print(last_p)
        # 需要yield
        yield Request(url='https://www.cnblogs.com/',callback=self.parse)




    def parse(self, response):
        # 获取文章块
        div_list = response.css('div.post_item')
        for div in div_list:
            # 声明item
            item = CnblogPaItem()
            # 文章标题
            title = div.xpath('./div[2]/h3/a/text()').extract_first()
            # 文章链接
            url=div.xpath('./div[2]/div/span[2]/a/@href').extract_first()
            # 用户名
            author = div.xpath('./div[2]/div/a/text()').extract_first()
            # 文章简介
            desc = div.xpath('./div[2]/p/text()').extract()[-1].replace('\r\n','').replace(' ','')
            # print(title_url,user,desc)

            # 持久化的准备传参设置
            item['title'] = title
            item['url'] = url
            item['author'] = author
            item['desc'] = desc


            # 深度爬取  # 广度爬取
            # yield item对象会去保存 ,request对象会去爬取 # callback回调函数
            yield Request(url=url,callback=self.parse_detail,meta={'item':item})
            # 传参使用meta


        # 广度爬取下一页
        # 解析下一页的url   css选择器取属性
        next_url = 'https://www.cnblogs.com' + response.css('div.pager>a:last-child::attr(href)').extract_first()
        # print(1111,next_url)
        yield Request(url=next_url,callback=self.parse)



    # 文章详情
    def parse_detail(self,response):
        # 获取传递的item对象
        item = response.meta.get('item')
        # print(item)
        # 深度爬取文章详情
        # 获取文章的html页面
        content = response.css('#post_detail').extract_first()

        item['content'] = str(content)

        # 存入数据库  (直接跳转到pipeline文件中进行持久化)
        yield item

items.py持久化字段设置

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html

import scrapy

# 数据库持久化
class CnblogPaItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title = scrapy.Field()
    author = scrapy.Field()
    desc = scrapy.Field()
    content = scrapy.Field()
    url = scrapy.Field()

pipelines.py数据库持久化文件

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html

import scrapy

# 数据库持久化
class CnblogPaItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title = scrapy.Field()
    author = scrapy.Field()
    desc = scrapy.Field()
    content = scrapy.Field()
    url = scrapy.Field()

settings文件

BOT_NAME = 'cnblog_pa'

SPIDER_MODULES = ['cnblog_pa.spiders']
NEWSPIDER_MODULE = 'cnblog_pa.spiders'
ROBOTSTXT_OBEY = False
CONCURRENT_REQUESTS = 32

# 普通使用
ITEM_PIPELINES = {
   'cnblog_pa.pipelines.CnblogPaPipeline': 300,
}


# 分布式爬虫的设置
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# Ensure all spiders share same duplicates filter through redis.
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"

ITEM_PIPELINES = {
    'scrapy_redis.pipelines.RedisPipeline': 300
}
# redis连接的配置  (不配置,默认即可)

补充

## 后续

redis高级(持久化rdb和aof,附近的人:地理位置信息,独立用户统计,发布订阅,一主多从,高可用(哨兵)),mongodb,es(集群搭建),docker(镜像,容器,私服搭建,项目部署,dockerfile),mysql主从做读写分离,django中做读写分离,go语言

## redis

缓存雪崩,缓存穿透



## 反扒

0.检测浏览器header
1 User-Agent,
2 cookie
3. ip 封禁
4. 图片验证码(打码平台,手动)
5  图片懒加载()
6 js加密,混淆:pip install PyExecJS 动态执行js
7 css加密
8 图片防盗链

posted @ 2020-03-11 09:24  fwzzz  阅读(385)  评论(0编辑  收藏  举报