腾讯TDSQL分布式金融级数据库的全局读一致性技术.pptx

1、全局读一致性全局读一致性-腾讯腾讯TDSQL分布式金融级数据库分布式金融级数据库面向金融类业务，十年积累，亿级账户验证面向金融类业务，十年积累，亿级账户验证腾讯公司内与计费、充值、转账、财务等核心系统腾讯公司内与计费、充值、转账、财务等核心系统90%以上都使用以上都使用TDSQL！2002200420082010201220142015增值业务增值业务分库分表手工伸缩业务爆炸业务爆炸一致性、7X24可用性腾讯计费腾讯计费超高并发超短时延米大师，腾讯米大师，腾讯充值充值更名TDSQL腾讯腾讯SP业务业务原生MYSQLWeBank私有化部署私有化部署腾讯云腾讯云金融云向上攀登永不止步2019201

2、82017全局读全局读一致性一致性全时态全时态数据库数据库分布式分布式事务事务目录目录CONTENTS分布式事务处理模型与数据异常业界主流数据库的解决方式TDSQL全局读一致性的实现技术读-读写-写读-写写-读无异常有异常有异常有异常并发操作可以被区分为四种：读-读、读-写、写-读、写-写读半已提交数据异常 两个数据节点Na、Nb；两个数据项X、Y Na节点commit完成；Nb节点commit未完成 全局该事务处于committing状态结果：账目不平第1个分布式事务第2个分布式事务目录目录CONTENTS分布式事务处理模型与数据异常业界主流数据库的解决方式TDSQL全局读一致性的实现技术解

3、决方案编号各种方案缺点非去中心化、低效低效案例12Pg XC全局事务管理器基于封锁的并发访问控制算法 全+局可串行化某些系统SS2PL+MVCC34全局可串行化 线性一致性+=SpannerSS2PL+MVCC所有事件全序排序 所有事务全局排序，低效+CockroachDBSSI+MVCC全局可串行化 混合逻辑时钟 全局 数据是否可读，需要通过全局事事务提交标志 务提交状态验证，增加通讯次数52次读增加了通讯轮数，且只能解决读 学术界的解决半已提交数据异常 方式Scalable atomic visibility withramp transactions更多的数据异常Cros 异常分布式读半

4、已提交异常Carsten Binnig, Stefan Hildenbrand, Franz Frber, Donald Kossmann,Juchang Lee, Norman May: Distributed snapshot isolation: globaltransactions pay globally, local transactions pay locally. VLDB J. 23(6):987-1011 (2014)更多的数据异常存在的业务问题：Cros 异常 事务x、y同时发起对账，对账结果不同解决技术： 实现全局可串行化目录目录CONTENTS分布式事务处理模型与数据

5、异常业界主流数据库的解决方式TDSQL全局读一致性的实现技术第一代第一代TDSQL分布式事务处理模型分布式事务处理模型start transaction;修改user1的金额;修改user2的金额;commit;第二代第二代TDSQL分布式事务处理模型分布式事务处理模型start transaction;修改user1的金额;修改user2的金额;commit;全局一致性概念Bailis P , Davidson A, Fekete A, et al. Highly available transactions:Virtues and limitations. In Proc. of VLDB

6、. 2013. 181-192核心：同时满足2个一致 读的角度：分布式读数据一致性 读写混合的角度：分布式事务的事务一致性 非多副本的数据一致性技术难点： 正确性相对容易实现 性能难以提高解决方案TDSQL全时态数据库核心问题： 分布式、全态数据在任何时间点的数据一致性解决技术： 写写冲突封锁机制互斥 MVCC从新版本到旧版本 局部节点处于Prepared状态 全局事务Committed/ Prepared状态 异步、批量设置本地事务状态 全局逻辑时钟（非跨城/洲分布）N1子节点PreparedN2子节点PreparedPreparedPreparedPreparedCommitted全局状态PreparingPrepared是否可见不可见，读前一个版本 冲突可串行化Prepared不可见可见PreparedCommittedCommittedCommittedVLDB 2019 腾讯全时态论文A Lightweight andEfficient Temporal Database Management System inTDSQLCommittedCommitted可见可见未来展望