Scrapy：python3下的第一次运行测试
摘要：
《Scrapy的架构初探》一文讲解了Scrapy的架构，本文就实际来安装运行一下Scrapy爬虫。本文以官网的tutorial作为例子，完整的代码可以在github上下载。 阅读全文
posted @ 2016-06-17 14:35 华天清 阅读(1910) 评论(0) 推荐(0) 编辑
Scrapy入门程序点评
摘要：
在《Scrapy的架构初探》一文，我基于爬虫开发的经验对Scrapy官网文章作了点评和解读，事件驱动的异步处理架构、极强的模块化等是个绝好的框架，接着我细读了官网的《Scrapy at a glance》，更加强了我的感受：就是他了——开源Python即时网络爬虫需要一个爬虫框架，我不想重复发明轮子，只想专注于爬虫里面的提取器的生成和使用，也就是Scrapy中的Spider部分。 阅读全文
posted @ 2016-06-17 14:33 华天清 阅读(302) 评论(0) 推荐(0) 编辑
