压缩机制

MR压缩的地方

  1. Mapper的输入:
    MR程序输入的数据源文件是一个压缩包,不需要设置、
  2. Mapper的输出:
    开启压缩机制并且指定压缩使用的算法机制
  3. Reducer的输出:
    开启压缩机制并且指定压缩使用的算法机制
    可压缩的格式:
    lzo bzip2
posted @ 2022-07-28 16:19  jsqup  阅读(14)  评论(0编辑  收藏  举报