Fork me on GitHub
摘要: 本篇主要重点讲解了阅读nutch源码的fetch部分的感受以及通过调试追踪整个fetch的执行流程,其中包括通过生产者-消费者的模型解决爬虫问题,nutch如何爬取页面以及对于不同的返回状态做相应的处理机制,其中还涉及到一些多线程的知识。 阅读全文
posted @ 2014-08-02 15:23 JackieZheng 阅读(1236) 评论(0) 推荐(0) 编辑