scrapy shell的使用

  1. 首先安装scrapy:pip install scrapy
  2. 为什么使用scrapy shell?
    Scrapy终端是一个交互终端,供您在未启动spider的情况下尝试及调试您的爬取代码。其实相当于一个python终端, 其本意是用来测试提取数据的代码,不过您可以将其作为正常的Python终端,在上面测试任何的Python代码。
    该终端是用来测试XPath或CSS表达式,查看他们的工作方式及从爬取的网页中提取的数据。 在编写您的spider时,该终端提供了交互性测试您的表达式代码的功能,免去了每次修改后运行spider的麻烦。
  3. 如何打开scrapy shell?
    1.打开cmd
    2.输入:scrapy shell "http://baidu.com"
    3.截图操作:


    标记的地方就是写代码的地方
posted @ 2020-04-22 11:05  wind_y  阅读(240)  评论(0编辑  收藏  举报