高可用总结

1、HDFS

zookeeper https://www.cnblogs.com/Coeus-P/p/13234266.html
zookeeper Hadoop
ZKFC(失效检测控制)是Hadoop里的一个Zookeeper客户端,在每一个NameNode节点上都启动一个ZKFC进程,来监控NameNode的状态,并把NameNode的状态信息汇报给Zookeeper集群,其实就是在Zookeeper上创建了一个Znode节点,节点里保存了NameNode状态信息。当NameNode失效后,ZKFC检测到报告给Zookeeper,Zookeeper把对应的Znode删除掉,Standby ZKFC发现没有Active状态的NameNode时,就会用shell命令将自己监控的NameNode改为Active状态,并修改Znode上的数据。

Znode是个临时的节点,临时节点特征是客户端的连接断了后就会把znode删除,所以当ZKFC失效时,也会导致切换NameNode。

2、Hbase

保证任何时候,集群中只有一个活跃master

存贮所有Region的寻址入口。

实时监控Region server的上线和下线信息。并实时通知Master

存储HBase的schema和table元数据

3、Hive

  • 配置HA之前,HiveServer2的工作机制:

  • 基于Zookeeper的高可用配置

4、Redis

  • 主从复制
  • 哨兵机制

5、Kafka

作用: https://www.jianshu.com/p/a036405f989c

posted @ 2020-07-30 10:42  Loading~  阅读(109)  评论(0编辑  收藏  举报