摘要: 1.Yarn资源调度器 Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 1.Yarn基础架构 Yarn主要由ResourceManager、NodeManager、Applicatio 阅读全文
posted @ 2023-12-16 21:02 SpringCore 阅读(21) 评论(0) 推荐(0) 编辑
摘要: 1.概述 1.好处 & 坏处 优点:减少磁盘IO、减少磁盘存储空间 缺点:增加CPU开销 2.压缩的原则 运算密集型的Job,少用压缩 IO密集型的Job,多用压缩 2.MR 支持的压缩编码 1.压缩算法对比介绍 压缩格式 Hadoop自带? 算法 文件扩展名 是否可切片 换成压缩格式后,原来的程序 阅读全文
posted @ 2023-12-16 18:48 SpringCore 阅读(45) 评论(0) 推荐(0) 编辑