Scrapy Shell的使用

Scrapy终端是一个交互终端,我们可以在未启动spider的情况下尝试及调试代码,也可以用来测试XPath或CSS表达式,查看他们的工作方式,方便我们爬取的网页中提取的数据。

如果安装了 IPython ,Scrapy终端将使用 IPython (替代标准Python终端)。 IPython 终端与其他相比更为强大,提供智能的自动补全,高亮输出,及其他特性。(推荐安装IPython)

判断某个页面是否是动态加载的

打开cmd , 输入  scrapy shell https://item.jd.com/2600240.html

再执行view(response)

 

posted @ 2018-10-25 18:18  发疯的man  阅读(680)  评论(0编辑  收藏  举报