摘要: mapreduce负责计算: map阶段并行处理输入数据。 reduce阶段负责对map的结果进行汇总。 yarn是hadoop的资源管理器。管理cpu和内存。 相关组件: resourcemanager:管理整个集群的资源 nodemanager:管理单节点服务器资源 applicationmas 阅读全文
posted @ 2022-07-06 16:56 拿什么救赎 阅读(36) 评论(0) 推荐(0) 编辑
摘要: hdfs是hadoop负责存储的模块。 分布式存储。 比如你有200T的资料。但是你只有200台1T的服务器。那么就可以用hdfs来做分布式存储。 用来管理数据具体存在哪的组件叫namenode。所以namenode就需要高可用,不然你不知道某1T的资料具体存在哪里。这就需要2NN,用来辅助name 阅读全文
posted @ 2022-07-06 16:17 拿什么救赎 阅读(203) 评论(0) 推荐(0) 编辑