墨天轮访谈 | 拓扑岭雷鹏：数据库新思维下的弹性压缩与内存计算

分享嘉宾：拓扑岭CEO、创始人 雷鹏
整理：墨天轮社区

导读

这两年云原生的概念非常火爆，相应的，就有了“云原生数据库”的概念，但是，绝大多数自称“云原生”的数据库，只是把“数据库软件”搬到云上，变成“数据库SaaS”，但是在其架构上，并未充分利用“云计算”的各种优势。

作为一款专为云原生而生的数据库，今天我将为大家解读在新时代背景下，ToplingDB如何充分利用共有云存储和计算的弹性伸缩，真正为企业实现降本增效。

ToplingDB 的性能优势

ToplingDB，fork 自 RocksDB，实现了 SidePlugin 旁路插件化体系，从而，使用 ToplingDB 的代码，可仅通过配置来使用第三方组件，而不需要引入任何对第三方代码的依赖，同时，在 SidePlugin 体系内，内嵌了一个 Web Service，可以在线查看 ToplingDB 的各种配置信息和内部状态，在线修改配置，甚至在线执行一些操作(Compact/Flush……)，还可以通过 web 导出 Prometheus 格式的 metrics，以最低的开发成本实现了监控。


图1 ToplingDB VS RockDB

基于维基百科中的测试数据显示，对于总共 109G，3800万条，平均长度 2.8K大规模数据，ToplingDB 的压缩率相比RocksDB 要高得多，同时在内存限制的情况下，随机读的性能高了 20 倍以上，这就是 ToplingDB 内存压缩算法的优势。

ToplingDB 新思潮：LSM Tree

1、老传统：B+Tree

RocksDB 采用传统的B + Tree，索引节点只包含Kry，同时叶子节点Kry,Value相邻存储。

这样的方式会增加管理复杂度，传统流式压缩是通用的压缩算法，不是为DB专门设计，输入输出都是字节流，无法实现高效搜索。


图2 老传统：B+Tree

2、新思潮：LSM Tree


图3 新思潮：LSM Tree

RocksDB 采用 LSM Tree，它的核心思想是“Append Only”，能够实现：随机写、降低随机读与顺序读。


图4 B+Tree VS LSM Tree

不仅如此，LSM Tree 中Compaction也提供了福利， Compact的单个 SST 涉及的数据高达数十 MB、甚至 GB 级别，给了我们在大尺度上窥视/分析数据全貌的机会。

究竟 ToplingDB 如何展现数据库新思维？内存压缩与弹性计算的优势怎样表现？欢迎大家前往文档&视频专区下载学习。

更多精彩内容，欢迎大家观看现场视频回放与会议资料
●视频回放：https://www.modb.pro/video/6184
●会议资料：KV数据库新思维-雷鹏

欲了解更多可以进入👉墨天轮，围绕数据人的学习成长提供一站式的全面服务，打造集新闻资讯、在线问答、活动直播、在线课程、文档阅览、资源下载、知识分享及在线运维为一体的统一平台，持续促进数据领域的知识传播和技术创新。

关注官方公众号： 墨天轮、 墨天轮平台、墨天轮成长营、数据库国产化 、数据库资讯

posted @ 2022-04-29 13:31  墨天轮  阅读(95)  评论(0)  编辑  收藏  举报