摘要: (1)scan.setCacheBlocks(false);初始化map任务 TableMapReduceUtil.initTableMapperJob本次mr任务scan的所有数据不放在缓存中,一方面节省了交换缓存的操作消耗,可以提升本次mr任务的效率,另一方面,一般mr任务scan的数据都是 一次性或者非经常用到的,因此不需要将它们替换到缓存中,缓存中还是放一些正常的多次访问的数据,这样可以提升查询性能。(2)conf.setBoolean("mapred.map.tasks.speculative.execution", false);是否开启mr的map备用任务机制 阅读全文
posted @ 2013-08-05 14:38 悟寰轩-叶秋 阅读(565) 评论(0) 推荐(0) 编辑