容器化数据库私有云平台建设之路.pptx

1、容器化数据库私有云平台建设之路QData Cloud & QFusion云化需求双活需求最大化解放人的生产力，提高业务敏捷度，降低企业TCO成本QData Infinite业务永远在线的需求，数据绝对安全的需求安全需求基本需求QBackup数据安全、数据备份的需求，数据库容灾的需求QData高性能、高可靠、易扩展CIO眼里的私有云建设目标123服务敏捷交付物理资源使用率智能运维管理 按需分配 自动部署 快速扩容 高密度 智能调度 灵活资源 自愈能力 智能监控 自动扩展k8s clusterLoadBalancerActorStateless ServicesStateful Services

2、数据一致ActorActor 访问入口一致 规格配置一致NginxRDSRDSRDSwebwebwebkubernetes Masternode1node3node2Controllmanager-etcdapiserverscheduler计算资源 / 存储资源独立扩展, 架构更清晰, 部署更容易DockerDocker计算层将 有 状 态 的 数 据 下 沉 到 存 储 层 ,Scheduler 调度时, 无需感知计算节点的存储介质, 只需调度到满足计算资源要求的 Node, 数据库实例启动时,只需在 分布式 文件 系统挂 载mappingvolume 即可. 可以显著的提高数据库实例的部

3、署密度和计算资源利用率网络层存储层volumeCSI扩展插件kubernetes MasterNode1Node2Controller-managerscheduleretcdapiservermount/umountPVCmount/umountPVCcontroller(Statefulset)External ProvisionerAttach/detachcreate/deleteExternal AttacherCSI存储插件分布式存储SAN存储预防双写场景 存储端支持ACL访问控制 nodecontroller ipmi-fenceSet : Read-only软件定义存储C逻辑流

4、程mountCreate/deleteattachumountdetachetcd绝大多数的性能问题都由 IO 瓶颈 导致Most of the performance problems are caused by the IO bottleneck本地存储计算存储分离dirty pagedirty pageDoublewrite Buffer 2McopyI/O writeI/O writerecovery1M 1M数据文件.ibd共享表空间mutil-replicasReferences: https:/ write10 GBdisable double write带宽下降50%Refer

5、ences: https:/ write100 GBdisable double writeIOPS提升30%References: https:/ Masternode1node3node23306Controller-manageretcdapiserverschedulerkubernetes MasterController-managerLoad Balanceretcdkeepalivedapiserverschedulerkeepalived-controllerclientNode 1Node 2Node 3eth0eth0eth0kubeletflanneldcnikubel

6、etflanneldcnikubeletflanneldcnikube-proxykube-proxykube-proxyiptablesiptablesiptables330633063306330633063306Keepalived态配置更新keepalivedRDS实例服务暴露的IP对应realserverIP(rs)，当一个mysql应用异常退出，会新建一个RDS实例来替代它。但有个特点，就是新mysql应用的IP会和之前不一样。而对应的结果就是要更新keepalived配置文件中的RDS的访问地址virtrualserver(VS)realserver(rS)realserver(

7、rs)。Keepalived-controllerkeepalived-controller监听RDS实例服务的变化 ，如果有变化则更新keepalived的配置，并通知keepalived重新加载配置。更新keepaliv置，通知加载配置监听服 IP配重新再加配置检测服务状态管ip 规则变化Keepalived重新加载配置后，会更新IPVS规则，定时检测新RDS实例是否正常，管理新的ipvs规则。keepalived与kubeproxy引发的IPVS冲突 问题隐蔽，网络环境复杂 各个组件相互干扰 keepalived 连接泄露导致VIP异常无法连接利用Operator构建数据库应用业务ser

8、viceservice123mysqlProxyMySQLCluste OperatorMKubernete APIOperator watches MySQLcustom resourcesmysqlcluster is running 5 pods mysql-proxy，replica=1 mysql-master,replica=1 mysql-slave,replica=3伪代码observeAnalyzeDifferences from desired state: mysql-proxy,replica=1 mysql-master,replica=1 mysql-slave,r

9、eplica=2How to get to desired state: start new pod for mysql-slave config mysql-slave replication data rebalancingActkubernetes ClustercontrollermanagerschedulerapiserverpvcEventskubectlstatefulsetsEventsoperatorconfigmapEventsmysqlclustermysqlcluster.yamlmysqldatabasemysqldatabaseoperatormysqlclusterServiceProxyserviceserviceStatefulsetconfigsnapsho pvcxtrabackupMySQLmasterMySQLslaveStatefulsetconfigPVCPVC