摘要: Item Pipeline 当Item在Spider中被收集之后,它将会被传递到Item Pipeline,这些Item Pipeline组件按定义的顺序处理Item。 每个Item Pipeline都是实现了简单方法的Python类,比如决定此Item是丢弃而存储。以下是item pipeline 阅读全文
posted @ 2017-08-25 23:57 AlamZ 阅读(117) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2017-08-25 22:03 AlamZ 阅读(148) 评论(0) 推荐(0) 编辑
摘要: Scrapy Shell Scrapy终端是一个交互终端,我们可以在未启动spider的情况下尝试及调试代码,也可以用来测试XPath或CSS表达式,查看他们的工作方式,方便我们爬取的网页中提取的数据。 如果安装了 IPython ,Scrapy终端将使用 IPython (替代标准Python终端 阅读全文
posted @ 2017-08-25 20:58 AlamZ 阅读(167) 评论(0) 推荐(0) 编辑
摘要: http://www.jianshu.com/u/3b338f77b9f2 https://segmentfault.com/a/1190000009420701 https://zhuanlan.zhihu.com/p/25689314?utm_source=zhihu&utm_medium=so 阅读全文
posted @ 2017-08-25 15:17 AlamZ 阅读(109) 评论(0) 推荐(0) 编辑
摘要: 我们在安装Python3(>=3.3)时,Python的安装包实际上在系统中安装了一个启动器py.exe,默认放置在文件夹C:\Windows\下面。这个启动器允许我们指定使用Python2还是Python3来运行代码(当然前提是你已经成功安装了Python2和Python3)。 我们在安装Pyth 阅读全文
posted @ 2017-08-25 10:17 AlamZ 阅读(502) 评论(0) 推荐(1) 编辑