masstree Seastar

masstree  Seastar

 

线程锁竞争和切换的开销几乎为0,代码也不用考虑多线程竞争,逻辑大大减化;此外Niagara是一个全异步执行引擎,采用了基于future,promise和continuation的方式来表达我们的异步执行逻辑,比传统的callback方式逻辑清晰明了了很多,很舒服的同时也不易出错。

存储内核方面,在调研了多种存储模型以后,最终我们选择了LSM结构,因为它能让我们方便的进行读、写和空间放大的调节。相比同是LSM架构的RocksDB,我们做了多方面的优化来提升性能,包括:

  • 基于masstree的memtable
  • Snow-shovelling的flush策略
  • 自适应的扩层策略
  • 实时in-memory compaction

在作为Blink statebackend的集成中,我们做了checkpoint时候不清memtable的优化,从而减少了latency抖动问题。

 

[1] Seastar: http://www.seastar-project.org
[2] Masstree: https://pdos.csail.mit.edu/papers/masstree:eurosys12.pdf

posted @   穆穆兔兔  阅读(973)  评论(0编辑  收藏  举报
编辑推荐:
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
阅读排行:
· 10年+ .NET Coder 心语 ── 封装的思维:从隐藏、稳定开始理解其本质意义
· 地球OL攻略 —— 某应届生求职总结
· 提示词工程——AI应用必不可少的技术
· Open-Sora 2.0 重磅开源!
· 字符编码:从基础到乱码解决
点击右上角即可分享
微信分享提示