爬虫_scrapy shell

什么是scrapy shell ？

　　scrapy终端，是一个交互终端，供您在未启动spider的情况下尝试及调试您的爬取代码/其本意是用来测试提取数据的代码，不过您可以将其作为正常的python终端，在上面测试任何的python代码。

　　该终端是用来测试xpath或css表达式，查看他们的工作方式及从爬取的网页中提取的数据，在编写您的spider时，该终端提供了交互性测试您的表达式代码的功能，免去了每次修改后运行spider的麻烦。

　　一旦熟悉了scrapy终端后，您会发现其在开发和调试spider时发挥的巨大作用。

安装IPython

安装命令：

pip install ipython

简介：

如果您安装了IPython，scrapy终端将使用Ipython（替代标准Python终端），IPython终端与其他相比更为强大，提供智能的自动补全，高亮输出，及其他特性。

进入到scrapy shell 的终端，直接在window的终端中输入 scrapy shell  域名

例如： scrapy shell www.baidu.com

response.body

 

 response.text

 

 response.url

 

 response.xpath

 

 response.status