2016年7月4日

让Scrapy的Spider更通用

摘要： 《Scrapy的架构初探》一文所讲的Spider是整个架构中最定制化的一个部件，Spider负责把网页内容提取出来，而不同数据采集目标的内容结构不一样，几乎需要为每一类网页都做定制。我们有个设想：是否能做一个比较通用的Spider，把定制部分再进一步隔离出去？ 阅读全文

posted @ 2016-07-04 09:54 华天清 阅读(252) 评论(0) 推荐(0) 编辑

导航