常用中间件的持久化机制
Elasticsearch
- Elasticsearch是一个全文搜索引擎，对模糊搜索非常擅长。
- Elasticsearch在写数据的时候，会先写到内存缓存区，然后写到translog缓存区，每隔5s将translog缓冲区的数据刷到磁盘中。
Kafka
- Kafka用的是文件系统来存储的。
- Kafka的持久化依赖操作系统的pagecache和顺序写来实现的。
HDFS
- HDFS Client客户端无论读写都需要走到NameNode去获取/增删改文件的元数据，而NameNode则是专门维护这些元数据的地方。
- 所以，在HDFS写数据，需要先去NameNode上询问这些切分好的block往哪几个DataNode上写数据。
- 为了提高NameNode的效率，在写数据的时候，NameNode实际上是操作的是内存，然后涉及到增删改的数据顺序写到editlog日志文件上。
Redis
- RDB：基于快照，将某一时刻的所有数据保存到一个RDB文件中。
- AOF(append-only-file)，当Redis服务器执行写命令的时候，将执行的写命令保存到AOF文件中。
AOF持久化功能的实现可以分为3个步骤：
- 命令追加：命令写入aof_buf缓冲区
- 文件写入：调用flushAppendOnlyFile函数，考虑是否要将aof_buf缓冲区写入AOF文件中
- 文件同步：考虑是否将内存缓冲区的数据真正写入到硬盘
MySQL
-
MySQL我们用得最多的
InnoDB引擎是怎么存储的呢？它有redo log来支撑持久化的功能。 -
MySQL引入了
redo log，内存写完了，然后会写一份redo log，这份redo log记载着这次在某个页上做了什么修改。
