(完整版)极光推送-高并发大容量消息推送后台系统架构演进课件.ppt

1、高并发大容量消息推送后台系统架构演进极光JIGUANG 极光推送是什么？十万级在线到百万级在线千万级用户在线亿级用户在线总结极光推送是什么？极光推送是一个产品 极光推送官网(http:/)帮助开发者向用户传递消息标签，别名，注册ID，分组推送，自动定时推送 支持 Android,iOS,WinPhone 三大主流平台极光推送是一个平台 独立的第三方云推送平台 服务 78.4 万 app，高效稳定的毫秒级送达移动消息推送解决方案 总用户数超过 130 亿，覆盖 9.25 亿 Android 和 iOS 终端 日推送消息超过 200 亿条 高级用户提供 VIP 服务极光推送是什么？海量服务经验是长

2、期积累的结果9.25亿月活用户1.6亿同时在线用户3000+服务器每日千亿级服务请求百亿级用户维度数据78.4万app 每日推送超过 200亿条消息注册用户超过130亿消息毫秒级送达724 服务技术团队经历了用户数从0到百亿的整个过程，吸取了很多经验教训覆盖超过 130 亿移动终端推送后台 1.0mysql 增加主从，读写分离无 cache 层，数据直接读写 mysql长连接服务器保存所有在线数据长连接服务器业务服务器MysqlMSDKMysqlS极光推送是什么？十万级在线到百万级在线千万级用户在线亿级用户在线总结1.0 架构难以支撑百万级在线推送在线用户达到百万级时，IO 瓶颈大量出现数据读

3、写占用 mysql 主从大量的 IO基础类开发占用大量时间CPU/网卡包量和流量/交换机流量等瓶颈推送后台 2.0接入与业务服务器集群化接入层与逻辑层分离增加独立在线状态节点引入 ICE 框架，tcp-RPCmysql 分库分表多实例LocalCache长连接服务器业务服务器MysqlMSDKMysqlS业务服务器长连接服务器SDK在线状态节点MysqlMMysqlSICEInternet Communications Engine 中间件有效利用带宽、内存,CPU,LBS,Failover,TCP,UDP,SSL,WebSocketAMI,AMD,多线程IDL（类似 protobuf）Ice

4、GridIceStormGlacier2ICE极光推送是什么？十万级在线到百万级在线千万级用户在线亿级用户在线总结2.0 架构难以支撑千万级在线推送在线状态中心遇到单点性能瓶颈，一个节点难以存储所有在线状态数据内网数据流量暴增物理机上线周期长业务逻辑实现 all in 接入不均衡，不支持动态调度策略推送后台 3.0在线状态节点重构为多节点+分片+多副本架构，采用 ICE 封装服务接口引入 RabbitMQ，请求数据消息化，模块间采用 MQ 交换数据引入 Couchbase，Redis，业务与数据分离引入 ES，解决用户多维度信息查询和存储业务进程模块化，垂直/水平拆分业务模块，最小化原则增加全

5、局长连接调度中心物理机-KVM业务监控 为何选择 RabbitMQ请求异步化、模块间解耦AMQP HA,produce/Confirm,Consume/Ack，Flow Control消息持久化，limited by disk+memoryKafka 消费延迟为何选择 Couchbase多语言支持，兼容 memcached 协议auto-scaling,HA,Failover,auto-shardingJson，Memory-firstSync/async,sub-document长连接调度中心根据运营商，区域，应用，负载，权值，动态调度 SDK 接入支持接入模块动态上下线提升 SDK 接入质

6、量SDK管理中心健康检测服务调度中心北京Conn AConn BConn C深圳Conn AConn BConn C系统层面优化RSSBBRcpu affinityNUMA极光推送是什么？十万级在线到百万级在线千万级用户在线亿级用户在线总结3.0 架构难以支撑亿级在线推送单数据中心，不支持容灾推送业务量越来越大，尤其节假日高峰期业务量十倍于平时用户推送需求越来越复杂，需要存储海量复杂维度的用户数据服务质量要求越来越高，系统可用性要求 99.9%以上开源组件自身处理能力瓶颈开始显现服务器数量暴增，管理成本几何增长，单节点的效率亟待提升推送后台 4.0多数据中心支持，用户数据同步最终一致性定制化用

7、户维度数据存储（标签/别名，活跃）SDK 和外围模块增加限流机制，fail-fast核心数据存储服务化并行化，协程自研&定制化开源组件灰度上线多数据中心所有数据通过 MQ 同步，最终一致性调度 App 到任意 IDC 提供服务IDC1IDC2IDC3MQ北京Conn AConn BConn C深圳Conn AConn BConn CMQ标签/别名自研存储服务存储用户标签/别名数据基于 ICE,RabbitMQ,redis,pika,zk支持按 key 或者 value 分片定制 redis 与 pikaAutoScale，Failover，AutoRecoverRedis 实例 1000+,存

8、储数据 10+T数据存储服务化基于 ICE 框架，服务化，内部逻辑对使用方透明支持 redis，mysql，pika，etc.Autoscale，failover，AutoRecover灰度上线业务服务器业务服务器ICE 存储服务ICE 存储服务dbredispika路由层并行引入 goroutine用户态，相比线程切换代价小，理论上一个进程可支持 routine 数据量只受资源限制，同时执行 routine 受 cpu 数量限制开启 100 个 goroutine 成本远远小于开启 100 个 thread 的成本Amdahls law限流和快速失败SDK 与外围模块增加限流机制 一定时间范围内：请求频率和请求数据量快速失败 模块间请求数据包中包含时间戳，超过阈值，直接丢弃告警监控系统层业务层推送生命周期层总结大系统小做不要过早优化高性能/低成本高可用性高可运维性快速迭代只使用验证过的开源组件能并行就不要串行能异步就不要同步保持简单架构不是设计出来，是演进出来自研替代开源