摘要：
3种常见的方法 1. 在settings中配置禁用cookies 1 COOKIES_ENABLED = False 2. scrapy限速处理，scrapy为我们提供了扩展模块，它能动态的限制下载速度 # http://scrapy-chs.readthedocs.io/zh_CN/latest/ 阅读全文
摘要：
3种实现方案 1. 编码实现 tesseract-ocr 谷歌开源的识别工具，自己实现代码编码，投入精力大，回馈低。且平台验证码更换周期短，编好的代码容易失效 2. 在线打码 在线平台提供，识别率90%以上 http://www.yunzhuan.com/ 3. 人工打码 效率低，准确率高 这里主要 阅读全文
摘要：
设置IP代理池及IP变换方案 方案一： 使用国内免费的IP代理 1 http://www.xicidaili.com # 创建一个tools文件夹，新建一个py文件，用于获取代理IP和PORT from scrapy.selector import Selector import MySQLdb i 阅读全文
摘要：
随机替换请求头中的User-Agent 基于github开源项目，实现User-Agent的动态切换和管理 基于github开源项目，实现User-Agent的动态切换和管理 1 https://github.com/hellysmile/fake-useragent fake-useragent维 阅读全文
摘要：
Selector使用 使用背景 我需要使用类似spider项目中，response使用的xpath和css获取页面指定数据，但因为爬取页面较小我们不想创建一个spider项目时，就可以使用scrapy提供的Selector对象 使用代码 阅读全文