2020年2月28日
scrapy的useragent与代理ip
摘要： scrapy中的useragent与代理ip 方法一： user-agent我们可以直接在settings.py中更改，如下图，这样修改比较简单，但是并不推荐，更推荐的方法是修改使用scrapy的中间件middlewares.py 推荐方案： scrapy的中间件可以支持我们在对爬虫的请求进行定制化 阅读全文
posted @ 2020-02-28 16:10 风，又奈何 阅读(735) 评论(0) 推荐(0) 编辑