2013年9月23日

nutch 采集效率问题

摘要: http://hi.baidu.com/jacklin/item/a8fbccf479f6a1d042c36a7c再附一篇:http://blog.csdn.net/laigood/article/details/6233561fetcher.threads.per.host fetcher.thr... 阅读全文

posted @ 2013-09-23 15:23 雨渐渐 阅读(351) 评论(0) 推荐(1) 编辑

Fetcher类的工作流程

摘要: Fetcher类工作流程:FileInputFormat.addInputPath(job, new Path(segment, CrawlDatum.GENERATE_DIR_NAME));job.setInputFormat(InputFormat.class);----------------第一部分------------------------job.setMapRunnerClass(Fetcher.class);Fetcher类实现了MapRunnable这个接口,主要完成了生产者的启动与消费者的启动。Fetcher extends Configured implements T 阅读全文

posted @ 2013-09-23 12:16 雨渐渐 阅读(481) 评论(0) 推荐(1) 编辑

导航