scrapy shell的使用
- 首先安装scrapy:pip install scrapy
- 为什么使用scrapy shell?
Scrapy终端是一个交互终端,供您在未启动spider的情况下尝试及调试您的爬取代码。其实相当于一个python终端, 其本意是用来测试提取数据的代码,不过您可以将其作为正常的Python终端,在上面测试任何的Python代码。
该终端是用来测试XPath或CSS表达式,查看他们的工作方式及从爬取的网页中提取的数据。 在编写您的spider时,该终端提供了交互性测试您的表达式代码的功能,免去了每次修改后运行spider的麻烦。 - 如何打开scrapy shell?
1.打开cmd
2.输入:scrapy shell "http://baidu.com"
3.截图操作:
标记的地方就是写代码的地方