2020 年 10月随笔档案 - jmbkeyes

10 2020 档案

Idea访问HDFS及MapReduce示例

摘要：自上篇搭建好高可用hadoop集群后，我们就可以通过程序访问hdfs及MR示例。 1. 访问HDFS Idea创建Gradle项目，然后再build.gradle添加依赖 dependencies { compile group: 'org.apache.hadoop', name: 'hadoop 阅读全文

posted @ 2020-10-30 23:56 jmbkeyes 阅读(531) 评论(0) 推荐(0) 编辑

Hadoop3.1.4高可用环境搭建

摘要：规划部署节点 HDFS高可用至少有两个NameNode（NN），副本存三份有三个DataNode（DN）。Yarn高可用至少有两个Resource Manager（RM），计算向存储移动需要在每个DataNode上部署NodeManager（NM）。Zookeeper（ZK）三节点选主。Journ 阅读全文

posted @ 2020-10-29 19:14 jmbkeyes 阅读(1808) 评论(0) 推荐(0) 编辑