大江东去，浪淘尽，千古风流人物。故垒西边，人道是，三国周郎赤壁。乱石穿空，惊涛拍岸，卷起千堆雪。江山如画，一时多少豪杰。遥想公瑾当年，小乔初嫁了，雄姿英发。羽扇纶巾，谈笑间，樯橹灰飞烟灭。故国神游，多情应笑我，早生华发。人生如梦，一尊还酹江月。

人生苦短 我用Python

扩大
缩小

Scrapy 代理IP

Scrapy 代理IP

一、Scarpy使用代理IP

　　1.在setting.py 配置 代理服务器IP

 

　　2.在middlermares.py 配置 downloadmiddlermare(下载中间件)

 　　Scrapy代理IP、User-Agent的切换都是通过DOWNLOADER_MIDDLEWARES进行控制，我们在setting.py同级目录下middlerwares.py文件中，包装所有请求。

　　3.在setting.py 配置下载中间件

 

posted on 2019-04-25 13:50  GuoZeping  阅读(420)  评论(0)  编辑  收藏  举报

导航