揭秘腾讯TDSQL全时态数据库系统
结合TDSQL系统的特点，研究团队提出并实现了一个轻量且高效的全时态数据库系统，该系统可以在保留原有TDSQL强劲的OLTP处理性能的同时，通过巧妙的系统设计，提供了内建的时态数据管理能力。
存储
TDSQL全时态数据库系统创新性地采用了一种混合存储模式，来对时态数据进行管理。系统将时态数据拆分为当前数据和历史数据，针对不同的数据类型，分别采用不同的存储策略。当前数据管理模块，采用了基于MVCC（多版本并发访问控制协议）设计的数据库所普遍采用的段页式结构，并且专门开辟回滚段，来对更新或删除操作产生的旧版本进行暂存。在回滚段中暂存的数据会在数据库进行资源回收操作（如MySQL中的Purge和PostgreSQL中的VACUUM等）时，迁移到历史数据管理模块，这个过程被称为数据转储。这是一种异步的转储策略，因而几乎不会造成性能损耗。历史数据存储模块，通过k-v格式来进行组织，可以大幅度缩小存储开销。由于一个数据项会存在多个历史版本，而这些历史版本会在某些属性上存在一样的值，例如表一中的James被重复四次。因此，在历史数据存储模块中，系统将每一个版本转化为一条k-v，并且只存储相较于上一个版本发生变化的属性值。
查询与事务处理
系统对时态查询处理逻辑进行了针对性设计与优化。通过专门的时态查询编译器，部分时态查询条件（如有效时间查询）会被重写并拼接到WHERE条件中。而对于事务时间查询，系统将其查询条件转化为了内嵌的可见性判断过程，从而使得时态查询所获取的数据满足事务一致性的要求，保证数据的准确性，这点在金融场景下显得尤为重要。另外，通过持久维护事务状态，系统可以快速获取到事务的执行状态，结合时态数据，即可原生支持事务级数据闪回等实用操作。对于历史数据，系统利用k-v存储的特性，可以根据时间条件快速定位到所需数据版本，具备了较好的时态查询性能，且在SQL语句的写法上方便用户直接使用SQL语句进行查询。
架构设计
系统体现了HTAC（Hybrid Transaction / Analytical Cluster，混合事务/分析集群）这一新型的系统架构设计理念。TDSQL全时态数据库系统分为OLTP集群和OLAP集群，OLTP集群负责事务型业务，OLAP系统处理分析型业务，提供历史数据的查询分析等功能。通过统一路由模块根据查询语句、查询操作的语义将SQL发送到对应集群进行处理。由于时态数据查询等负载需要占用大量系统资源，这种拆分的系统设计可以尽量影响减小生产系统受到的性能影响。其次，历史数据量级较大，OLAP集群通过扩展存储的方式，即可实现历史数据的无限存储。
论文贡献
1. 论文提出了一种拓展的时态数据模型。 除了在SQL：2011中定义的有效/事务时间属性外，本模型通过新引入的事务ID属性描述时间。 MIN_ID与创建记录的事务相对应，MAX_ID对应于删除/更新记录的事务。 事务ID能够识别在同一事务中插入/更新/删除的所有记录，从而实现由于业务逻辑破坏数据的修复。
2. 论文提出了一种内建的时态数据库解决方案，并针对TDSQL进行了大量优化，最终实现了TDSQL全时态数据库系统。同时，该解决方案具有很强的通用性，可以方便的引入到其他数据库系统中。通过引入异步数据迁移、增量历史数据管理、原生时态查询执行器等策略，该解决方案具有轻量且高效的特点。
3. 通过在真实场景和TPC基准负载下的大量实验，TDSQL全时态数据库系统具有非常小的性能损失（相较于原始TDSQL系统），并且能够快速响应时态查询，与其他现有的时态数据库系统相比具有较好的性能。
系统测试
通过TPCC测试基准，论文展示了时态数据管理对原有系统性能的影响情况。在256、512、1024个数据仓库的场景下，基于TDSQL实现的全时态数据库系统的系统性能相较于原始TDSQL下降率不到10%，领先于其他基于传统关系数据库实现的时态数据库系统。
另外，基于真实的批处理业务场景，论文展示了系统在实际业务场景下的表现。通过连续30天对比原始系统和新型全时态数据库系统（T-TDSQL）在处理该业务时所需的执行时间，实验结果展示腾讯全时态数据库系统在简化业务应用开发的同时，可以缩短近一半的业务执行时间。
对于该论文，VLDB评审委员会做出如下点评：This paper extends the TDSQL system from Tencent for temporal data management. A new temporal data model is proposed with optimized implementation. Extensive experimental study has been conducted to compare the performance with existing temporal database systems over benchmarks and real data.
