摘要: 在将程序移植到python之前,先来复习一下python的多线程编程的相关知识。请看下面的一段代码:import timeimport threadingimport urllib.requestimport queueclass ThreadUrl(threading.Thread): de... 阅读全文
posted @ 2013-06-27 17:29 爱知菜 阅读(182) 评论(0) 推荐(0) 编辑
摘要: 在上一篇中,我们提到了管道这个概念(pipeline),其实所有的管道都实现了同一接口叫 public interface IPipelineStep { void Process(Crawler crawler, PropertyBag propertyBag); }所有爬到的网址都将被构造Cr... 阅读全文
posted @ 2013-06-27 10:16 爱知菜 阅读(171) 评论(0) 推荐(0) 编辑