《【架构设计之道】这一波优雅的操作，会把你的中间件系统架构带到另一个Level》阅读笔记

（1）    Master-Slave架构

这个中间件系统的本质是希望能够用分布式的方式来处理一些数据，但是具体的作用涉及到核心技术，这里不能直接说明。

但是他的核心思想，就是把数据分发到很多台机器上来处理，然后需要有一台机器来控制N多台机器的分布式处理，大概如下图所示。

 

既然是分布式的处理，就肯定涉及到在Master中要维护这个集群的一些核心元数据。

比如说数据的分发处理是如何调度的，处理的具体过程现在什么进度了，还有就是对集群里存放数据进行描述的一些核心元数据。

（2）    异步日志持久化机制

但是这里有一个问题，假如说Master进程重启，或者是突然宕机了，那么内存里的数据就丢失了。所以针对这个问题，既然已经否决掉了基于外部存储来写入元数据，那么这里就可以采取异步持久化日志的机制，来通过异步化的方式把元数据的更新日志写入磁盘文件。

每次Master收到一个请求，在内存里更新元数据之后，就需要生成一条元数据的更新日志，把这个更新日志需要写入到一个内存缓冲里去。

然后等内存缓冲满了之后，由一个后台线程把这里的数据刷新到磁盘上去

（3）    检查点机制：定时持久化全量数据

每隔一段时间，就需要开启一个后台线程，把内存里的全部核心元数据序列化后写入磁盘上的元数据文件，作为这个时间的一个快照文件，同时清空掉日志文件，这个叫做检查点操作。

下次重启，只要把元数据文件读取出来直接反序列化后方入内存，然后把上次检查点之后的变更日志从日志文件里读出来回放到内存里，就可以恢复出来完整的元数据了。

这种方式，可以让Master重启很快，因为大部分数据都是在检查点写入的那个元数据文件里。