摘要: 18.1 Scrapy Shell Scrapy 终端是一个交互终端,我们可以在未启动 spider 的情况下尝试及调试代码,也可以用来测试 XPath 或 CSS 表达式,查看他们的工作方式,方便我们爬取的网页中提取的数据。 18.2.1 启动Scrapy Shell 进入项目的根目录,执行下列命 阅读全文
posted @ 2018-08-29 10:11 听海8 阅读(363) 评论(0) 推荐(0) 编辑
摘要: 18.1 IPython IPython 是 python 的一个第三方库,在新建 Scrapy 爬虫项目和运行 Scrapy 爬虫,都会用到 Scrapy 终端,如果安装了 IPython ,Scrapy 终端将使用 IPython (替代标准Python 终端)。 IPython 终端与其他相比 阅读全文
posted @ 2018-08-29 10:06 听海8 阅读(389) 评论(0) 推荐(0) 编辑
摘要: 26.1 XPath helper 26.1.1 XPath helper 插件概述 xPath helper 是一款 Chrome 浏览器的开发者插件,安装了 xPath helper 后就能轻松获取 HTML元素的 xPath,程序员就再也不需要通过搜索 html 源代码,定位一些 id 去找到 阅读全文
posted @ 2018-08-29 10:02 听海8 阅读(1370) 评论(0) 推荐(0) 编辑