数据库高可用架构课件.ppt

1、数据库高可用架构Jacky Alibabawww.HelloDBA.net数据库高可用架构J a c k y A l i b a b a问题与挑战 集中式数据库成为系统瓶颈 数据库依赖高端硬件设备小型机和高端存储硬件可用性要求高Scale up 数据库如何线性扩展（Scale out）利用廉价设备搭建高可用数据库集群问题与挑战集中式数据库成为系统瓶颈 CAP原理 Consistency：一致性 Availability：可用性 Partition tolerance：分区容错性 三者不可兼得 传统数据库（CA）ACID 原子性，一致性，隔离性，持久性 NoSQL产品（AP）BASE基本可用，软

2、状态，最终一致 C A P 原理C o n s i s t e n c y：一致性Hardware HA Active/Standby High Availability Bad Scalability IBM hacmp HP serviceguardH a r d w a r e H A A c t i v e/S t a n d b yOracle Data Guard Primary服务，Standby只读(11g)异步传送方式，可能导致数据丢失 失败切换需要人工干预 廉价的容灾方案O r a c l e D a t a G u a r d P r i m a r y 服务，S t a

3、Oracle RAC 架构 Shared Disk Oracle Clusterware High Availability Scale out Load Balance TAFO r a c l e R A C 架构S h a r e d D i s k Oracle RAC 特点 应用透明 廉价的高可用方案 扩展能力有限共享存储的扩展能力节点间通信成本 DSS类型应用分析可扩展特性 充分利用节点计算能力降低节点间通信成本 OLTP类型应用分析 高可用特性应用透明切换(TAF)O r a c l e R A C 特点应用透明Oracle ASMO r a c l e A S MOracle

4、ASM 特点 具备整合多个存储设备的能力，解决存储的扩展问题 自动负载均衡，支持RAID 10 ASM替换裸设备 ACFS替换OCFS 所有的数据都可以放在ASM中 ASM是免费的 O r a c l e A S M 特点具备整合多个存储设备的能力，解决存MySQL Replication Master+Slave（单向复制）Master+Master（双向复制）Dual master+heartbeat(HA)Slave可读写，比Oracle DG更灵活My S Q L R e p l i c a t i o n Ma s t e r +S l a vMySQL Cluster 架构 Sha

5、red Nothing High Availability Scale out My S Q L C l u s t e r 架构S h a r e d N o t h i n gMySQL cluster 特点 完全分布式架构高可用 可扩展 存储节点，处理节点和管理节点 内存存储引擎NDB 自动数据hash分布 数据自动冗余，防止单点故障 性能不理想数据同步写多节点数据按照PK Hash分布UK需要根据PK访问两次Join需要将数据读取至mysqld处理My S Q L c l u s t e r 特点完全分布式架构技术发展趋势 硬件Intel CPU vs IBM PowerCPU多核化F

6、lash Cache/SSDPC server RAS特性增强Reliability,Availability and Serviceability 软件虚拟化分布式 云计算技术发展趋势硬件Oracle Exadata O r a c l e E x a d a t a Oracle ExadataO r a c l e E x a d a t aOracle ExadataO r a c l e E x a d a t aOracle Exadata 特性 功能 Smart ScanSmart Flash CacheStorage IndexHybrid Columnar Compresse

7、d 特点廉价设备组成的BOXRAC整合计算能力ASM整合存储能力Infiniband高速互联网络Flash cache作为二级Cache同时支持DSS和OLTP应用缺点：贵 O r a c l e E x a d a t a 特性功能 读写分离架构-MySQL复制读写分离架构-My S Q L 复制读写分离架构-Oracle Active Standby读写分离架构-O r a c l e A c t i v e S t a n d b y读写分离架构-DB+Memcache读写分离架构-D B+Me m c a c h eFacebook MySQL+Memcache架构F a c e b

8、o o k My S Q L+Me m c a c h e 架构读写分离架构分析 适合Read Intensive应用 数据库复制存在延迟 一致性的问题 Read-your-writes consistency Session consistency 数据库单机容量成为瓶颈，Sharding？Memcache crash=Disaster?!分布式Memcached集群Consisitent hash读写分离架构分析适合R e a d I n t e n s i v e 应用Consistent hashC o n s i s t e n t h a s hConsistent hashC o

9、 n s i s t e n t h a s hSharding架构 BASE思想的产物 具备线性扩展能力 弱化关系型处理oDB=KV Store 分布式Hash算法oHash(key)mod n oVirtual Partition Hash S h a r d i n g 架构B A S E 思想的产物Virtual Partition Hash策略 根据mod计算hash分布的缺陷节点变化时，所有数据需要重新分布 Virtual Partition hash策略虚拟分区策略，预分区物理节点包含多个虚拟分区增加节点时，只需移动部分虚拟分区每个节点都有备用节点可根据压力状况灵活配置Consi

10、stent hash策略的简化V i r t u a l P a r t i t i o n H a s h 策略根据m o d 计Virtual Partition Hash策略V i r t u a l P a r t i t i o n H a s h 策略Virtual Partition Hash策略V i r t u a l P a r t i t i o n H a s h 策略分布式数据库 分布式数据库Proxy 应用透明 Query Parse Query Route Results Merge Load Balance 故障探测 Failover分布式数据库分布式数据库P

11、r o x y数据库同步技术 为什么需要数据库同步构建多站点架构数据库复制无法满足需要 商业产品Quest ShareplexOracle Goldengate 数据库同步技术为什么需要数据库同步我们的解决方案 触发器方案 日志解析Oracle redo log MySQL binlog 数据打包传输数据库，文件，图片 应用模型并行应用模型如何保持事务一致 我们可以做到更好解析SQL灵活定义业务逻辑提升处理能力 我们的解决方案触发器方案技术趋势 去I/O/E MySQL Sharding架构 DB+Memcached架构 FlashCache/SSD作为DB二级Cache MySQL Cluster 数据同步，多站点架构 廉价高可用数据库集群 Key-Value Store 技术趋势 去I/O/E