nutch Fetcer阶段详解

job.setSpeculativeExecution(false); 
抓网页阶段,不允许同一个任务运行多次,否则,网页就抓重了
为了充分利用闲置资源,加快map 和 reduce 的执行,于是有SpeculativeExecution机制,同时运行多个map 或 reduce,先运行完的获胜,其他的干掉

 

posted on 2013-11-25 11:42  雨渐渐  阅读(235)  评论(0编辑  收藏  举报

导航