2017年11月27日
python爬虫scrapy之downloader_middleware设置proxy代理
摘要： 一、背景： 小编在爬虫的时候肯定会遇到被封杀的情况，昨天爬了一个网站，刚开始是可以了，在settings的设置DEFAULT_REQUEST_HEADERS伪装自己是chrome浏览器，刚开始是可以的，紧接着就被对方服务器封杀了。 代理： 代理，代理，一直觉得爬去网页把爬去速度放慢一点就能基本避免被 阅读全文
posted @ 2017-11-27 17:01 Charles.L 阅读(20620) 评论(1) 推荐(1) 编辑