摘要：
最近写爬虫，突然发现自己的动态的User-Agent用不了了，所以想可能是新版本出来了，旧的版本用不了了，坏掉了。 一时间想不起用什么命令了，网上查了一下，发现很简单，所以记录一下方便以后忘了的时候快速查找，根据版本不同稍微有点区别 windows : pip install -u 模块名称 也有可 阅读全文
摘要：
在scrapy的反爬中，常用的几个配置，简单总结了下： User-Agent中间件： 代理IP中间件： cookies设置、多个爬虫共用一个settings时，各自spider中的设置： 都是很简单实用的配置 验证码：打码平台比较简单、省事、效率 注：每天进步一点点，或记录或不记录，都是自己的。记录 阅读全文