数据库中间件设计与实现课件.ppt

1、数据库中间件设计与实现1纲要 MySQL存在的问题 主流MySQL Proxy方案 中间件的设计与实现 总结2MySQL存在的问题n读写分离读写分离在客户端中配置所有DB信息，并实现读写分离DB上下线业务受影响运维跟开发需同步调整配置3clientdb_masterdb_slave主从同步MySQL存在的问题4n分库分表分库分表 客户端改写SQL语句 客户端将SQL路由不同的DB 客户端聚合结果db1db3db2sql1sql2sql3sqlmerge result中间件的目标5n减轻开发工作量减轻开发工作量支持SQL读写分离支持数据分库分表n减轻运维工作量减轻运维工作量无需与开发同步高可用减

2、少运维工作主流MySQL Proxy方案6n主要解决主要解决方案方案DBProxyDBProxylMysql官方产品，但只出到Beta 0.8，基本不维护lBUG多、扩展功能较难lC语言开发l国内衍生：360 Atlas、Meituan DBProxy、Sohu DBProxy.CobarCobarl功能简单l基本不维护lJAVA开发l阿里内部已发展为TDDL(非代理模式),并在阿里云DRDS中大量使用l国内衍生：MyCat VitessVitesslYoutube开源的数据库扩展及高可用方案，已经用于生产环境l功能强大，但是构架复杂，部署及运维成本较高lGOLANG开发l国内GO开发：Kin

3、gshard中间件核心功能7n读写分离n数据分库分表n平滑上下线DB中间件实现8nSQL Parsern数据分片nSQL路由n结果归并n连接池设计n后端DB的高可用方案n高可用方案n安全审计架构设计9n整体架构图整体架构图SQL Parser10nSQLSQL ParserParser的设计与实现的设计与实现词法分析器词法分析器l将SQL切分语法语法分析器分析器l根据词法分析器结果和MySQL语法规则生成AST(abstract syntax tree) 相关产品相关产品l目前常见的SQL解析器主要有fdb/jsqlparser和DruidSQL词法分析语法分析AST根据分片规则生成新 SQL

4、数据分片11n分片分片概念概念逻辑：将数据落在不同的DB实例中的不同子表中分片方式：Hash、Range、Time_Range等Shard key类型：整型、MySQL标准时间类型等数据到实例采用两级映射方案shard_keysub_tableDBdata数据分片12select * from tab where id = 10rangehashtimeconfig select * from tab_0001 where id = 10calculate table indexSQL路由13n路由路由概念概念SQL路由是根据分片规则配置，将SQL定位至真正的数据源结果归并14n归并归并概念概

5、念结果归并包括4类：普通遍历类、排序类、聚合类和分组类。每种类型都会先根据分页结果跳过不需要的数据。普通遍历类最为简单，只需按顺序遍历ResultSet的集合即可排序类结果将结果先排序再输出，因为各分片结果均按照各自条件完成排序，所以采用归并排序算法整合最终结果分组类最为复杂，需要将所有的ResultSet结果放入内存，使用map-reduce算法分组，最后根据排序和聚合条件做相关处理。最消耗内存，最损失性能的部分即是连接池设计15n目标目标复用连接，降低后端DB压力n方式方式一个DB实例对应一个连接池连接池个数上限可配置，无空闲连接则阻塞n效果效果前端高并发，MySQL负载不会抖动限制连接池

6、个数，保护后端DB不至于宕机连接池设计16middlewareDB1Conn PoolConn PoolDB2connconnconn.poppush连接取出时：l 重置字符集l 重置Database后端DB的高可用方案17n方式方式使用独立线程检测DB状态定期检测每台DB是否正常，周期和重试次数均可配置n效果效果自动摘除宕机或网络中断的DB自动挂载恢复正常的DBmiddlewareDB_MasterDB_Slave1DB_Slave2高可用方案18安全与审计19n客户端客户端IPIP限制限制用户自定义IP白名单列表nSQLSQL黑名单黑名单用户定义黑名单SQL列表n慢慢SQLSQL记录记录用户自定义慢日志耗时大小总结20n普遍存在的两大问题普遍存在的两大问题性能效率问题：采用代理的方式，有性能损耗，跨库查询性能更差。是否有其它更高效方式？功能问题：不支持分布式事务。为什么不支持？如何实现分布式事务？21Thank You