摘要: 1. 介绍 Yarn是一个分布式资源调用系统,专门用来负责给分布式计算程序分配计算资源 ResourceManager整个集群的管理者,负责分配资源 NodeManager是Yarn集群的打工者,负责接受RM的指令,准备计算资源,用于运行分布式计算程序 YARN运行一个分布式任务之后,还会出现两个组 阅读全文
posted @ 2022-07-28 22:11 jsqup 阅读(341) 评论(0) 推荐(0) 编辑
摘要: MR压缩的地方 Mapper的输入: MR程序输入的数据源文件是一个压缩包,不需要设置、 Mapper的输出: 开启压缩机制并且指定压缩使用的算法机制 Reducer的输出: 开启压缩机制并且指定压缩使用的算法机制 可压缩的格式: lzo bzip2 阅读全文
posted @ 2022-07-28 16:19 jsqup 阅读(14) 评论(0) 推荐(0) 编辑