【分布式】常见分布式框架
分布式协调系统(日志复制系统):paxos算法及其变体的实现,典型的有zookeeper、etcd;
分布式文件系统:HDFS(hadoop)
分布式NoSQL:Redis、Hbase
消息队列:rabbitmq kafka,关注消息的at least once, at most once, only once。
分布式任务调度:azkaban
分布式计算框架:
基于有限数据集:基于mapreduce的hadoop,基于内存计算的spark
面向无限数据集的流计算:storm,Flink
链接:https://www.jianshu.com/p/151e43738fed