摘要： Scrapy提供了方便的收集数据的机制。数据以key/value方式存储，值大多是计数值。 该机制叫做数据收集器(Stats Collector)，可以通过 Crawler API 的属性 stats 来使用无论数据收集(stats collection)开启或者关闭，数据收集器永远都是可用的。 因 阅读全文

摘要： scrapy的每一个爬虫，暂停时可以记录暂停状态以及爬取了哪些url，重启时可以从暂停状态开始爬取过的URL不在爬取 实现暂停与重启记录状态 1、首先cd进入到scrapy项目里 2、在scrapy项目里创建保存记录信息的文件夹 3、执行命令： scrapy crawl 爬虫名称 -s JOBDIR 阅读全文

摘要： 1、chrome谷歌浏览器无界面运行 chrome谷歌浏览器无界面运行，主要运行在Linux系统，windows系统下不支持 chrome谷歌浏览器无界面运行需要一个模块，pyvirtualdisplay模块 需要先安装pyvirtualdisplay模块 Display(visible=0, si 阅读全文

摘要： 1、爬虫文件 dispatcher.connect()信号分发器，第一个参数信号触发函数，第二个参数是触发信号，signals.spider_closed是爬虫结束信号 2、middlewares.py中间件文件 3、settings.py配置文件注册中间件 阅读全文

摘要： selenium模块 selenium模块为第三方模块需要安装，selenium模块是一个操作各种浏览器对应软件的api接口模块 selenium模块是一个操作各种浏览器对应软件的api接口模块，所以还得需要下载对应浏览器的操作软件 操作原理是：selenium模块操作浏览器操作软件，浏览器操作软件 阅读全文

摘要： cookie禁用 就是在Scrapy的配置文件settings.py里禁用掉cookie禁用，可以防止被通过cookie禁用识别到是爬虫，注意，只适用于不需要登录的网页，cookie禁用后是无法登录的 settings.py里禁用掉cookie禁用 COOKIES_ENABLED = False 禁 阅读全文

摘要： 设置代理ip只需要，自定义一个中间件，重写process_request方法， request.meta['proxy'] = "http://185.82.203.146:1080" 设置代理IP 中间件，注意将中间件注册到配置文件里去 随机数据库获取IP 数据库模块文件 阅读全文

摘要： downloadmiddleware介绍中间件是一个框架，可以连接到请求/响应处理中。这是一种很轻的、低层次的系统，可以改变Scrapy的请求和回应。也就是在Requests请求和Response响应之间的中间件，可以全局的修改Requests请求和Response响应 UserAgentMiddl 阅读全文

摘要： Requests请求 Requests请求就是我们在爬虫文件写的Requests()方法，也就是提交一个请求地址，Requests请求是我们自定义的 Requests()方法提交一个请求 参数： url= 字符串类型url地址 callback= 回调函数名称 method= 字符串类型请求方式，如 阅读全文

摘要： 1、基本概念 2、反爬虫的目的 3、爬虫和反爬的对抗过程以及策略 scrapy架构源码分析图 阅读全文