2015年6月10日
hadoop的压缩解压缩,reduce端join,map端join
摘要： hadoop的压缩解压缩 hadoop对于常见的几种压缩算法对于我们的mapreduce都是内置支持,不需要我们关心.经过map之后,数据会产生输出经过shuffle,这个时候的shuffle过程特别需要消耗网络资源,它传输的数据量越少,对作业的运行时间越有意义,在这种情况下,我们可以对输出进... 阅读全文
posted @ 2015-06-10 07:00 小丁子 阅读(549) 评论(0) 推荐(0) 编辑