scrapy-加蘑菇代理

加代理ip     隧道代理
setting中 解开  下载器 
打开 蘑菇代理   复制key
按照下载器的路径  添加代理ip        [添加至函数外]
在类外边添加key  和手动添加 http://
在蘑菇代理中  复制方法   括号 中内容
 
然后试着请求  ip地址  更换ip地址              [setting中 delay 设置延迟 3  秒]
 
然后完成  总结 简单 四步走 
1 解封 setting中 代码
2 middlewares  中 添加  代理 
3  添加  爬取代理 
4  完成 
posted @ 2019-05-19 10:33  IT_Allen  阅读(597)  评论(0编辑  收藏  举报