Scrapy中间件user-agent和ip代理使用
摘要：
一、定义实现随机User-Agent的下载中间件 1.在middlewares.py中完善代码 2.在settings中设置开启自定义的下载中间件，设置方法同管道 3.在settings中添加UA的列表 二、代理ip的使用 1.在middlewares.py中完善代码 2.检测代理ip是否可用 在使 阅读全文
posted @ 2019-02-28 15:37 returnes 阅读(1002) 评论(0) 推荐(0) 编辑