摘要:
1. 介绍 Yarn是一个分布式资源调用系统,专门用来负责给分布式计算程序分配计算资源 ResourceManager整个集群的管理者,负责分配资源 NodeManager是Yarn集群的打工者,负责接受RM的指令,准备计算资源,用于运行分布式计算程序 YARN运行一个分布式任务之后,还会出现两个组 阅读全文
摘要:
MR压缩的地方 Mapper的输入: MR程序输入的数据源文件是一个压缩包,不需要设置、 Mapper的输出: 开启压缩机制并且指定压缩使用的算法机制 Reducer的输出: 开启压缩机制并且指定压缩使用的算法机制 可压缩的格式: lzo bzip2 阅读全文