Scrapy Shell

Scrapy Shell

我们想要在爬虫中使用xpath、beautifulsoup、正则表达式、css选择器等来提取想要的数据。但是因为scrapy是一个比较重的框架。每次运行起来都要等待一段时间。因此要去验证我们写的提取规则是否正确，是一个比较麻烦的事情。因此Scrapy提供了一个shell，用来方便的测试规则。当然也不仅仅局限于这一个功能。

打开Scrapy Shell：

在项目文件夹内打开cmd，输入scrapy shell http://www.wxapp-union.com/article-4976-1.html，然后就可以测试了

如果想要读取某个项目的配置信息,那么应该先进入到这个项目中。再执行 scrap shell命令

在这个里面可以导入BeautifulSoup来提取.