【分布式】常见分布式框架

分布式协调系统(日志复制系统):paxos算法及其变体的实现,典型的有zookeeper、etcd;
分布式文件系统:HDFS(hadoop)
分布式NoSQL:Redis、Hbase
消息队列:rabbitmq kafka,关注消息的at least once, at most once, only once。
分布式任务调度:azkaban
分布式计算框架:
基于有限数据集:基于mapreduce的hadoop,基于内存计算的spark
面向无限数据集的流计算:storm,Flink


链接:https://www.jianshu.com/p/151e43738fed
 

posted on 2022-10-04 01:25  bdy  阅读(181)  评论(0编辑  收藏  举报

导航