科学使用scrapy shell

scrapy shell 的科学使用

scrapy shell 是在scrapy网络爬虫开发时非常有用的测试工具

在命令行里输入

>scrapy  shell url

就可以获得这个网页返回的response进行以下操作
在这里插入图片描述

这样对于一些对爬虫没有限制的网站是可行的，但是对于一些网站来说是会被制裁的，比如说豆瓣网
在这里插入图片描述
这个时候我们就需要在这个里面添加headers
这个时候我们需要这样提交url

scrapy shell  -s USER_AGENT='Mozilla/5.0' http://www.douban.com

在这里插入图片描述
这样就可以完成模拟headers的目的了

posted @ 2018-12-23 19:43  ayang818  阅读(141)  评论(0)  编辑  收藏  举报