随笔分类 - HA高可用搭建

SparkStandalone--HA搭建

摘要：不需要设置master在哪个节点上，只要在配置了HA模式的Spark集群上，任何一台机器都可以启动Master 需要先启动zookeeper zkServer.sh start 三台节点 [root@node1 conf]# pwd /opt/app/spark-2.3.1/conf [root@n 阅读全文

posted @ 2022-09-09 17:22 jsqup 阅读(27) 评论(0) 推荐(0) 编辑

Kafka--HA搭建

摘要：[123]zkServer.sh start [node123]# tar -xvf kafka_2.11-0.8.2.1.tgz [node123]# cd kafka_2.11-0.8.2.1/config [node123]# vi server.properties { broker.id= 阅读全文

posted @ 2022-09-09 15:45 jsqup 阅读(18) 评论(0) 推荐(0) 编辑

Zookeeper--HA搭建

摘要：1. 上传zookeeper解压： tar -zxvf zookeeper-3.4.5.tar.gz 2. 修改配置文件[三台节点] [node123]# cd /opt/app/data/zookeeper-3.4.5/conf/ [node123]# mv zoo_sample.cfg zoo. 阅读全文

posted @ 2022-09-09 15:45 jsqup 阅读(24) 评论(0) 推荐(0) 编辑

YARN-HA搭建

posted @ 2022-09-09 15:38 jsqup 阅读(17) 评论(0) 推荐(0) 编辑

HBASE-HA搭建

摘要：Zookeeper集群的正常部署，并启动[三个节点] zkServer.sh start Hadoop集群的正常部署并启动[三个节点] start-dfs.sh start-yarn.sh HBASE高可用搭建 hbase-env.sh export JAVA_HOME=/opt/app/jdk1. 阅读全文

posted @ 2022-09-09 11:41 jsqup 阅读(44) 评论(0) 推荐(0) 编辑

HDFS-HA搭建

摘要：进程介绍 1. Zkfc(ZKFailoverController)作用：切换NN状态；对NN进行心跳保持(监听)，当发现NN active异常，会通知Zookeeper,然后ZK重新选举一个新的NN接管，切换成NN active状态; 2. JournalNode NameNode之间共享数据阅读全文

posted @ 2022-09-09 09:38 jsqup 阅读(25) 评论(0) 推荐(0) 编辑