2021年9月8日
第二十章 HDFS—核心参数调优
摘要： 一、NameNode内存生产配置 #1.NameNode内存计算 每个文件块大概占用150byte，一台服务器128G内存为例，能存储多少文件块呢？ 128 * 1024 * 1024 * 1024 / 150Byte ≈ 9.1亿 G MB KB Byte #2.Hadoop2.x系列，配置Nam 阅读全文
posted @ 2021-09-08 15:10 年少纵马且长歌 阅读(210) 评论(0) 推荐(0) 编辑
第十九章 Yarn案例实操
摘要： 一、 Yarn生产环境核心参数配置案例 #1.需求： 从1G数据中，统计每个单词出现次数。服务器3台，每台配置4G内存，4核CPU，4线程。 #2.需求分析： 1G / 128m = 8个MapTask；1个ReduceTask；1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个 阅读全文
posted @ 2021-09-08 11:25 年少纵马且长歌 阅读(327) 评论(0) 推荐(0) 编辑
第十八章 Yarn资源调度器
摘要： 一、YARN概述 思考： 1）如何管理集群资源？ 2）如何给任务合理分配资源？ Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 二、YARN基础架构 YARN主要由ResourceMa 阅读全文
posted @ 2021-09-08 11:20 年少纵马且长歌 阅读(243) 评论(0) 推荐(0) 编辑