scrapy的User-Agent中间件、代理IP中间件、cookies设置、多个爬虫自定义settings设置

在scrapy的反爬中，常用的几个配置，简单总结了下：

 

User-Agent中间件：

from fake_useragent import UserAgent

class RandomUserAgentMiddleware(object):

    def __init__(self, crawler):
        self.ua = UserAgent()

    def process_request(self, request, spider):
        request.headers.setdefault('User-Agent', self.ua.random)  

 

代理IP中间件：

class RandomProxyMiddleware(object):
    '''
     这只是一个简单的演示
    '''
    def process_request(self, request, spider):
        ip = ''  # 要用到的代理IP
        port = ''  # 要使用的代理port
        request.meta['proxy'] = 'http://{}:{}'.format(ip, port)  

 

cookies设置、多个爬虫共用一个settings时，各自spider中的设置：

class BaiduSpider(scrapy.Spider):

    name = 'baidu'
    allowed_domains = ['baidu.com']
    start_urls = ['https://www.baidu.com']

    # custom_settings可以设置调整settings中的配置参数，以此来适配自己的spider。
    custom_settings = {
        'COOKIES_ENABLED':True,  # 在配置文件settings中可以设置成False, 在这个spider中这样设置就可以开启cookies了，其他的配置一样适用
    }
    
    def parse(self, response):
        pass

都是很简单实用的配置

 

验证码：打码平台比较简单、省事、效率

 

注：每天进步一点点，或记录或不记录，都是自己的。记录是怕遗忘，也是为了更好的想起！