摘要：
有时为了测试xpath，需要临时下载个页面，这时使用命令行进行测试是最方便的，但是很多网站页面需要认证，不能直接使用scrapy shell命令进行页面的抓取，所以需要重新对请求进行构造，设置cookies和headers。首先在当前装有scrapy的python环境中安装ipython # pyt 阅读全文
摘要：
scrapy shell 命令请求网页： scrapy shell "https://www.baidu.com" 就会得到请求的网页源代码，我们通过response.text可以获取请求之后的源代码，然后就可以通过正则匹配我们想要的内容 2.然后上面请求方法，对一些不做限制的网站请求时ok，但是就 阅读全文