scrapy框架设置代理
摘要：
网易音乐在单ip请求下经常会遇到网页返回码503的情况经查询，503为单个ip请求流量超限，猜测是网易音乐的一种反扒方式因原音乐下载程序采用scrapy框架，所以需要在scrapy中通过代理的方式去解决此问题在scrapy中使用代理，有两种使用方式 1.使用中间件2.直接设置Request类的met 阅读全文
posted @ 2017-06-04 20:44 niansi 阅读(693) 评论(0) 推荐(1) 编辑
