XX移动云计算和大数据实践课件.pptx

1、行至水穷处、云起浙里时-XX移动云计算和大数据实践汤人杰2019年6月18日第二部分第二部分背景和问题背景和问题第四部分第四部分XX支撑云建设蓝图支撑云建设蓝图第三部分第三部分技术发展跟踪和思考技术发展跟踪和思考第五部分第五部分建议与思考建议与思考第一部分第一部分云计算与团队建设成果云计算与团队建设成果目录目录XX公司云平台建设现状公司云平台建设现状目前XX公司建设了三个资源池，各自独立发展独立发展，有独立的管理平台，有独立的管理平台。支撑资源池：承载业务支撑系统与管理支撑系统，上层管理平台由华胜天成负责开 发 网管资源池：承载网管支撑系统与业务平台，上层管理平台由东信北邮负责开发 IDC资源

2、池：承载IDC业务（公有云），上层管理平台由华为负责开发资源池管理平台（华胜资源池管理平台（华胜天天成）成）IDC资源池资源池资源池管理平台（东信资源池管理平台（东信北北邮）邮）资源池管理平台（华为）资源池管理平台（华为）支撑资源池支撑资源池（业务支撑（业务支撑+管理支撑系统）管理支撑系统）物理资源网管资资源池网管资资源池（网管支撑（网管支撑+业务平台）业务平台）物理资源物理资源 以大数据资源池管理平台为核心整合，形成企业统一资源池管理平台 网管支撑系统后续将逐步迁移到支撑资源池支撑系统云化成果概支撑系统云化成果概览览资源池资源池 截止2019年5月，支撑系统共有服务器3台，其中服务器 台。支

3、撑资源池共计604台X86服务器，共部署843个虚拟机，采用Vmware虚拟化技术搭建云化系统云化系统 截止2019年5月，共完成72个系统迁移至支撑资源池 2011年已完成CRM Web和APP的云化改造 计划8月底前完成计费账务系统云化计费账务系统云化改改造造 目前系统云化比例为43.56%，计划至年底前系统云化比例提升至60%设备设备 5个机房，合计面积约1.15万平方米，机房利用率为77.5%各类主机3290台，处理能力达到18.11亿Tpmc，其中系统X86化比例62.5%各类存储设备容量达到6191TB，利用率88%；非高端（分布式）存储比例达20%2019年去年去IOE和系统云化

4、工作重点和系统云化工作重点深度参与集团公深度参与集团公 司去司去IOE试点项目试点项目去去“I”支撑、经分和管信三 域系统全面去全面去“I”在原有商业虚拟化软 件基础上将引入开源开源 虚拟虚拟化软件化软件去去“O”已使用大云RDB3完成统一用户系统去“O”工作 今年将在CRM核心系统核心系统 部分模块实现去部分模块实现去“O”去去“E”今年将在计费账务 系统和虚拟化资源 池中试点引入软件软件 定义存储，初定义存储，初步实步实 现去现去“E”争取集团内去争取集团内去IOE工作工作的的绝对绝对领领先地先地位位第二部分第二部分背景和问题背景和问题第四部分第四部分XX支撑云建设蓝图支撑云建设蓝图第三部

5、分第三部分技术发展跟踪和思考技术发展跟踪和思考第五部分第五部分建议与思考建议与思考第一部分第一部分云计算与团队建设成果云计算与团队建设成果目录目录困惑与问题（一）困惑与问题（一）资源池资源池CPU利用率为利用率为什什么提么提不不高？高？小型机能云化吗？小型机能云化吗？去去I以后以后小小型机型机如如何投何投资资保护？保护？应用永远云化中，开发应用永远云化中，开发商商始终始终在在叫云叫云化化改造改造工工作量作量大大，报，报价价高。高。应应用云用云化化？这概念是个什么东东？这概念是个什么东东？大数据技术平台和云计大数据技术平台和云计算算到底到底什什么关么关系系？大？大数数据资据资源源池和池和我我们现

6、们现在在的资的资源源池池什么关系？什么关系？技术架构竖井化，甚至技术架构竖井化，甚至以以项目项目为为单位单位搞搞技术技术架架构。构。基基础软础软硬硬件标件标准准化管化管理理失失 控，七国八制，运维亚控，七国八制，运维亚历历山大山大，这种这种情情况谈况谈何何核心核心能能力掌力掌控控？困惑困惑与与问题（二）问题（二）XX移动的云平台在技移动的云平台在技术术架构架构上上与阿与阿里里云有云有什什么异么异同同？XX移动的云平台在业移动的云平台在业界界处于处于什什么技么技术术水平水平？XX移动的云平台是否移动的云平台是否可可以使以使用用或融或融合合阿里阿里云云或华或华为为云的云的技技术架术架构构？ORAC

7、LE云如何建设和提供？云如何建设和提供？什么是什么是PAAS？公有云私有云？政企独公有云私有云？政企独立立云？云？什什么概么概念念？如？如何何实现？实现？云计算和大数据的关系云计算和大数据的关系？不使不使用用虚拟虚拟机机算不算不算算云？云？HADOOP上上虚虚机？机？云计算技术云计算技术-核心特征和价值核心特征和价值云计算起源于亚马逊云计算起源于亚马逊EC2产产 品和谷歌品和谷歌-IBM分布式计算分布式计算 项目项目云计算主要核云计算主要核心心特征特征资源共享资源共享按需自助按需自助集中部署集中部署弹弹性性伸缩伸缩云计算核心价值云计算核心价值-降本增效、高能可靠降本增效、高能可靠快速部署快速部

8、署-聚焦业务，支撑业务聚焦业务，支撑业务集中、共享、弹性、标准集中、共享、弹性、标准-有效降有效降低低成本成本分布式计算和存储分布式计算和存储提升性能和可靠性提升性能和可靠性云计算是个人云计算是个人PC、互联网之、互联网之 后的第三次后的第三次IT浪潮浪潮云计算驱动企云计算驱动企业业IT架构演进架构演进企企 业业 IT架架 构构 演演 进进“烟囱烟囱”式式IT系统架构系统架构资源池化、云化资源池化、云化IT架构架构打破竖井、应用和平台打破竖井、应用和平台解解耦耦打破供应商绑定打破供应商绑定加强企业自身核心能力加强企业自身核心能力掌掌控控 敏捷建设、聚焦支敏捷建设、聚焦支撑业务撑业务统一管理建设

9、运营，提统一管理建设运营，提升升运维运维效效率、率、提提升资升资源源利用利用率率，降，降低低TCO云计算技术云计算技术-服务分层服务分层云计算包括以下三个层次的服务：IaaS(Infrastructure-as-a-Service)：基础设施即服务。消费者通过Internet可设施获得虚 拟计算、网络和存储资源，比如Amazon AWS。PaaS(Platform-as-a-Service)：平台即服务，指将软件研发的平台作为一种服务，比如Google的AppEngine为企业和个人提供完整的开发、运行和部署的环境和工具。SaaS(Software-as-a-Service)：软件即服务，通过

10、Internet提供软件的模式，用户无需购 买软件，而是向提供商租用基于Web的软件。如Google提供的Gmail、Apps、搜索等。云平台建设的常见路径是自底向云平台建设的常见路径是自底向上上 IaaSPaaSSaaS云计算与大数据云计算与大数据IaaSPaaSSaaS虚拟资源 物理资源公共服务组件数据挖掘分析云计算架构云计算架构EPaaSTPaaSHadoopNoSQLMPPDPaaS（大数据平台服务（大数据平台服务）BDPAAS 云计算是大数据的基础，大数据是云计算的应用云计算是大数据的基础，大数据是云计算的应用 大数据技术平台是云计大数据技术平台是云计算算PaaS层的一个分支，是云平

11、层的一个分支，是云平台台 的重要组成部分的重要组成部分云计算技术云计算技术-核心技术核心技术云计算是分布式计算、并行计算、分布式存储、数据管理、虚拟化、负载均衡云计算是分布式计算、并行计算、分布式存储、数据管理、虚拟化、负载均衡等等 技术发展融合的产物技术发展融合的产物云计算最核心的技术是云计算最核心的技术是-并行计算并行计算并行计算的基本思想是：用多个处理器协调求解同一问题。即将被求解问题分并行计算的基本思想是：用多个处理器协调求解同一问题。即将被求解问题分为为 若干部分，各部分均由一个独立的计算单元来并行处理，处理完成后，将结若干部分，各部分均由一个独立的计算单元来并行处理，处理完成后，将

12、结果进果进 行处理后返回用户行处理后返回用户分布式操作系分布式操作系统统-小变大之小变大之谜谜由于纵向拓展可优化空间太小（单台服务器的性能上限很明显），分布式系统强调横向扩展、横向优化，当分布式集群计算资源不足时，就要往集群里面添加服务器，来不停地提升分布式集 群的计算能力。分布式系统要做到统一管理集群的所有服务器，屏蔽底层管理细节，诸如容错、调度、通信等，让开发人员觉得分布式集群在逻辑上是一台服务器。真真正意正意义义的大的大云云必须必须真真正实正实 现现数据数据中心中心级级的弹性的弹性伸伸缩缩，俗俗称称小小变变大。大。和单机Linux操作系统相比，分布式系统和单机Linux一样要解决五大类操

13、作系统必需的功能，即资源分配、进程管理、任务调度、进程间通信（IPC）和文件系统关键要素：资源管理、调度管理关键要素：资源管理、调度管理阿里云的启示阿里云的启示“大云大云”的技术生的技术生态态圈圈负载均衡技术负载均衡技术：前端应用引流的标准化（调度服务一般可自行实现后台任务的调度）轻量级虚拟化技术轻量级虚拟化技术：资源隔离轻量化，资源生成敏捷化分布式协调技分布式协调技术术：应用无状态、应用名字集中管理、应用部署在线化。资源管理在线化的前提恰恰是实现应用的无状态化弹性伸缩资源管理虚拟化技术重量级虚拟化技术轻量级虚拟化 技术调度管理分布式调度技术分布式调度技术负载均衡技术分布式协调技 术一个好汉：

14、分布式调度三个帮：负载均衡、轻量级虚拟化、分 布式协调分布式调度和分布式协分布式调度和分布式协调调是最难是最难 实现的两个技术服务实现的两个技术服务身边的身边的云云-阿里云阿里云标准硬件标准硬件技术服务技术服务飞天：飞天：核核心心云构件云构件身边的身边的云云-阿里云主要技术服务解阿里云主要技术服务解构构 IAAS服务服务-ECS、VPC、OSS大致对应网络大致对应网络、I、E、虚、虚拟拟机等机等基基础设础设施施的标的标准准化、化、服服务化务化、虚拟虚拟化化 PAAS服务服务：ACE、MQS、RDS、DRDS、SLB、ODPS、ADS、OTS、OCS大致对应中间件、数据大致对应中间件、数据管管理

15、软理软件件等平等平台台软件软件的的标准标准化化、服、服务务化、化、虚虚拟化拟化身边的身边的云云-阿里阿里云云-飞天平台解飞天平台解构构阿里云是真正意义的大云！阿里云是真正意义的大云！阿里云深阿里云深度度实现了云计算核心技实现了云计算核心技术术并行计算并行计算 阿里云可以真正实阿里云可以真正实现现数据中心数据中心级级的弹性伸缩的弹性伸缩 核心云构核心云构件件-女娲、伏羲女娲、伏羲是是实实现现“大云大云”的核心技的核心技术术 支柱支柱 女娲：应用协调、应用命女娲：应用协调、应用命名名-分布分布式式协调协调 伏羲：资源管理、应用调伏羲：资源管理、应用调度度-分布式调度分布式调度阿里云的启示云的进化阿

16、里云的启示云的进化论论阶段阶段1：X86化。化。核心是硬件标准化硬件标准化，是云的原始积累阶段阶段2：IaaS资源池化。核心特征是虚机级资源管理、调度管理资源池化。核心特征是虚机级资源管理、调度管理和和IAAS服务标准化，俗称服务标准化，俗称 大变小。大变小。阶段阶段3：应用云化也可以叫做应用资源池化。核心特征是集群级资源管理、调度管理。但：应用云化也可以叫做应用资源池化。核心特征是集群级资源管理、调度管理。但 这种管理都是私有化的这种管理都是私有化的、静态的静态的一方面是有积极意义的可视为云的进化，从小云进化到低级中云。一方面它的局限性太大，仍然是应用级的竖 井，不能跨应用弹性伸缩，云化能力

17、不能被标准化和共享，这一点在技术角度和管理角度(供应商依赖和甲方核心能 力掌控)有着深远的负面影响！阶段阶段4：PaaS资源池化。核心特征是标准化的、集中的和动态的集群级调度管理，同时实资源池化。核心特征是标准化的、集中的和动态的集群级调度管理，同时实现了现了PaaS服务服务的的标准化。资源管理仍然是静态的，分散的，但调度管理实现集中化、标标准化。资源管理仍然是静态的，分散的，但调度管理实现集中化、标 准化、动态化准化、动态化将标准化的技术服务能力从应用层转移到PaaS平台层，从应用云化走向应用上云。这是我们近期很现实的一 个发展方向。尽管不能大幅度提升弹性伸缩范围，但可以解决云化能力的标准化

18、和能力沉淀，可以极大降低我们对 供应商的依赖，提升核心能力掌控。本阶段云将进化到了高级中云。阶段阶段5：控制标准化，核心特征是实现资源管理的数据中心集中化和动态化，俗称小变：控制标准化，核心特征是实现资源管理的数据中心集中化和动态化，俗称小变大大。是我们发展的终极目标。可以真正实现大云大云。2014年商用产品年商用产品2019年商用产品年商用产品2019年试点产品年试点产品存储存储计算计算网络网络弹性计算弹性计算 BC-EC对象存储对象存储 BC-oNest弹性块存储弹性块存储 BC-EBSBC-vNetwork运营管理运营管理运营管理运营管理 BC-OP资源池管理资源池管理 BC-Cloud

19、master云计算安全云计算安全 BC-Security资资 源源 层层云计算应用云计算应用（公众服务云（公众服务云,企业私有企业私有云云，混混合合云云）中国移动云计算平台典型架构存在中国移动云计算平台典型架构存在的的明显明显缺缺失失 技术服务层重技术服务层重IaaS轻轻PaaS 最关键的核心云构件层基本缺失最关键的核心云构件层基本缺失 管理上的大云，技术上的小云管理上的大云，技术上的小云应用的快速部署开通受到极大制约应用的快速部署开通受到极大制约只能实现虚机层弹性伸缩，效果极只能实现虚机层弹性伸缩，效果极其其有限有限，严重严重影影响资响资源源的充的充分分动态动态调调度，度，降降本增本增效效X

20、X公司云计算发展阶段的自我定位公司云计算发展阶段的自我定位降低风险降低风险简化简化降低运营支出降低运营支出高效高效降低资本支出降低资本支出灵灵活活统一统一提高敏捷性提高敏捷性全面优化全面优化 对数据中心内 部整体目标架 构没有统一的没有统一的 规划设计 标准化的标准化的硬件和 软件体系 业务基础架构建 设以月为单位 通过核心云构件 实现进程级资源进程级资源 共享共享 业务基础架构建 设以小时为单位 实现数据中心级数据中心级 弹性伸缩传统孤岛传统孤岛标准化标准化IaaS资源池化资源池化PaaS资源池化资源池化控制标准化控制标准化虚拟化虚拟化服务化服务化智能化智能化孤岛孤岛X86化化 通过服务化实

21、现 共享的平台平台架架构 业务基础架构建 设以日为单位 实现集集群群级级弹性 伸缩 通过虚拟化实现 共享的基础架构基础架构 业务基础架构建 设以周为单位 实现虚拟机级虚拟机级弹 性伸缩（XX公司公司）（IT领先的银行领先的银行）（）（领先互联网公司）领先互联网公司）应用资应用资 源池化源池化大云不是梦大云不是梦PaaS资源池化资源池化控制标准化控制标准化IaaS 资资源池化源池化应用资源池化应用资源池化X86化化小型机小型机时代时代 2009年以前2009年至今2011年至今2019年开始XX支撑云建设路线只要有决心有思路抓紧只要有决心有思路抓紧干干，相当程度上实现真正意相当程度上实现真正意义

22、义的数的数据据中心中心级级“大云大云”不是梦！不是梦！1-3阶段往往是结合在一起的，可视为一个大阶 段，也是我们目前所处 的大致阶段。XX支撑已经开始初步 实践阶段4，规划和技术 验证阶段5，这将是云的 后续大幅度提升和进阶 的阶段。我们的管理差距在哪里？我们的管理差距在哪里？用反云的方式建设云用反云的方式建设云 云平台建设和应用云化改造不分：云平台建设和应用云化改造不分：应用视角的竖井式云化建设 多，云平台自身建设考虑少。所谓系统的云化变成了应用的竖 井化改造，能力未能沉淀和积累，事事实上实上形形成新成新的的竖井竖井。应用应用 云化只是一个过渡性的概念，必将云化只是一个过渡性的概念，必将被被

23、基于基于PaaS资源池化资源池化 和和EPaaS化的应用上云概念取代化的应用上云概念取代 用自上而下的方式管理云的投资用自上而下的方式管理云的投资 云平台整合化程度有限云平台整合化程度有限：资源池越多，资源利用率越低，建设 运维效率越低，云计算的效果越不能有效发挥新时代的新竖井新时代的新竖井问问题题很明显，后果很严重很明显，后果很严重 云平台能力弱，应云平台能力弱，应用用上上云云难度难度大大：大多停留在IaaS级，PaaS和核心云构件层严 重缺失，反过来导致应用云化改造代价大，不少应用仍长期停留在传统架构上 资源利用率资源利用率，TCO管理水平与互联网公司差距仍然很管理水平与互联网公司差距仍然

24、很大大：CPU平均利用率明显低 于互联网公司；较高虚拟化软件License成本（1-1.5w/CPU），较低的整合比 应用快速部署开通，有效支撑业务能力有应用快速部署开通，有效支撑业务能力有限限：简单的IaaS云最多做到日级基础集 成，考虑PaaS和应用集成时间动辄周级，先进互联公司可以做到平台分钟级，应用小时级 技术架构七国八制技术架构七国八制 资源池起不到能力储备作用，竖井式集成仍属常态，应用部署速度难以提升资源池起不到能力储备作用，竖井式集成仍属常态，应用部署速度难以提升大云几时有？把酒问苍大云几时有？把酒问苍天天？我们的问题实属业界的通病，因此，只要亡羊补牢，时尤未我们的问题实属业界的

25、通病，因此，只要亡羊补牢，时尤未晚晚第二部分第二部分背景和问题背景和问题第四部分第四部分XX支撑云建设蓝图支撑云建设蓝图第三部分第三部分技术发展跟踪和思考技术发展跟踪和思考第五部分第五部分建议与思考建议与思考第一部分第一部分云计算与团队建设成果云计算与团队建设成果目录目录分布式协调服分布式协调服务务-意义意义分布式协调是分布式应用中不可缺少的，通常担任协调者的角色，或者说是将多机协调 的职责从分布式应用中独立出来，以减少系统的耦合性和增强扩充性。众所周知，协调服务很难开发，它们很容易发生条件竞争和死锁，统一分布式协调服务 的建设动力就是减轻分布式应用开发的困难，使它们不再从头开始构建协调服务。

26、但目前，大部分分布式应用需要开发私有的协调程序，资源浪费，效果乏善可陈、系统扩展困难，开 发维护成本高，因此我们提出将协调器独立出来设计成为通用通用、伸缩性伸缩性好好的分的分布布式协调式协调服服务务。应用1 client应用2 client应用3 client应用1 协调器应用2 协调器应用3 协调器应用1 server应用2 server应用3 server应用1 client应用2 client应用3 client分布式协调服务分布式协调服务应用1 server应用2 server应用3 server分布式协调服分布式协调服务务-应用场景应用场景配置管理配置管理主从管理主从管理共享锁共享锁

27、集群管理集群管理分布式消息队分布式消息队 列列统一命名服务统一命名服务 分布式协调服务能做什么？分布式协调服务能做什么？状态数据共享状态数据共享-应用无状态应用无状态-应用分布应用分布式式-应用高可用性应用高可用性应用服务名字管理应用服务名字管理-服务自动发现服务自动发现-服务自动注服务自动注册册-应用配置应用配置自自 动化动化-应用运维自动化应用运维自动化意义重大！意义重大！分布式协调服分布式协调服务务-建设建议建设建议Chubby VS Zookeeper Chubby中心化设计方式存在MASTER性能瓶颈及扩展问题，闭源 Zookeeper是Google Chubby的开源实现，以Fas

28、t Paxos算法为基础，解决了Chubby的单点瓶颈问题，已被广泛应用 Fourinone据称在高可用性、内存管理效率等方面优于Zookeeper，但 闭源我们的建设建议：考虑基于开源产品Zookeeper，建设EPaaS层级的通用的、伸缩 性好的分布式协调服务。主流产品：主流产品：Zookeeper：开源产品开源产品 Chubby：Google Fourinone：淘宝资源调度服务资源调度服务-意义意义当前大部分应用使用静态静态分配 资源方式 资源利用率低 资源占用多，缺乏统一化，配 置峰值资源需求等于浪费资源 扩展困难因此我们提出建设资源调度服务资源调度服务，对资源进行统一动态统一动态调

29、度，为多种计算框架多种计算框架提供支持。简化计算框架调用资源 简化多计算框架并用资源，减少了分布式计 算框架之间的选择，按需调用 为数据中心管理，自动化运维提供了更高层次的方案资源调度服务资源调度服务-常见开源解决方常见开源解决方案案 随着互联网的高速发展，基于数据密集型应用的计算框架不断出现，从支持离 线处理的MapReduce，到支持在线处理的Storm，从迭代式计算框架Spark 到流式处理框架S4，各种框架诞生于不同的公司或者实验室，它们各有所 长，各自解决了某一类应用问题。而在大部分互联网公司中，这几种框架可能 都会采用；考虑到资源利用率，运维成本，数据共享等因素，互联网公司一般希望

30、将所有 这些框架部署到一个公共的集群中，让它们共享集群的资源，并对资源进行统 一使用，这样，便诞生了资源统一管理与调度平台，典型代表是Mesos和YARN。Mesos诞生于UC Berkeley的一个研究项目，现已成为Apache 孵化器中的项 目。YARN是下一代MapReduce，即MRv2，是在第一代MapReduce基础上演变 而来的，主要是为了解决原始Hadoop扩展性较差，不支持多计算框架而提出 的。它完全不同于Hadoop MapReduce，所有代码全部重写而成。资源调度服务资源调度服务-建设思路建设思路应用容器（AC）实体服务总线（ESB）虚拟服务总线（VSB）负载均衡（LB

31、）分布式消息队列（DMQ）分布式缓存（DMC）弱一致性批处理（WCBP）强一致性数据分析（CDA）流计算（SP）高速流计算（HSSP）数据交换（DE）分布式内存数据库（DMD）迭代式批处理（IBP）强一致性数据挖掘（CDM）实时处理（RTP）资源调度服务分钟级别 小时级别Mesos，集群资源管理器，提供了有效的、跨分布式应用或框架的资源隔离和共享，可以运行MPI、Hypertable、Spark等多种应用。使用ZooKeeper实现容错复制，使用Linux Containers来隔离任务，支持多种资源计划分配。技术平台服务：Mesos+定制，实现资源调度、分钟级别动态伸缩 大数据平台服务：YA

32、RN，实现资源调度、小时级别动态伸缩IAAS层的演层的演进进-虚拟化技术发展方向虚拟化技术发展方向Docker技术技术虚拟机技术虚拟机技术LXC技术技术LXC技术技术：Linux Container容器，基于Linux内核的Cgroup资源 管理框架，提供轻量级的虚拟化，隔离进程和资源，而且不需要提 供指令解释机制以及全虚拟化的其他复杂性，是一种操作系统层次 上的轻量级资源虚拟化技术。虚拟机技术：虚拟机技术：硬件设备的软件模拟实现，技术核心为VMM（虚拟 机监视器），是一层位于操作系统和计算机硬件之间的代码，隔离 并管理上层运行的多个虚拟机，为每个客户操作系统虚拟一套独立 于实际硬件的虚拟硬件

33、环境，是重量级的资源虚拟化技术。Docker技术：技术：开源的应用容器引擎，在标准的LXC之上融合AUFS 这样的分层镜像管理机制，抛弃传统VM试图模拟完整机器的思路，而是以应用为单元进行“集装封箱”，是以PaaS层延伸的轻量级资 源虚拟化技术。基于容器的集基于容器的集群群管理产品管理产品Kubernetes 是Google开源的容器集群管理系统，基于Docker构建一个容器的调度服务，提供资源调度、均衡容灾、服务注册、动态扩缩容等功能套件，为开发者提供了快 速构建和运行容器的方法，使CaaS（容器即服务）成为可 能。目前Kubernetes迭代速度极快，发展迅速，成熟度较差。技术发展趋势带来

34、的思考技术发展趋势带来的思考 IaaS技术正在向开源化、轻技术正在向开源化、轻量量化方化方向向发展发展，在私在私有有云场云场景景下传下传统统虚拟虚拟机机技技 术即将遇到严峻的挑战术即将遇到严峻的挑战。轻量级虚拟化的开源解决方案正在成熟，轻量级虚拟化的开源解决方案正在成熟，意义重大意义重大 资源的弹性动态伸缩是资源的弹性动态伸缩是云云的本的本质质特征特征，其核其核心心服务服务分分布式布式调调度和度和分分布布式协式协调调 已经有初步的已经有初步的开源解决方案，意义重大开源解决方案，意义重大 IOE时代的技术管理关键时代的技术管理关键字字：已：已知知，稳，稳定定，计，计划划，商业，商业 后后IOE时

35、代的技术管理关时代的技术管理关键键字：字：未未知，知，变变化，化，迭迭代，代，开开源源 技术团队必须自己告诉技术团队必须自己告诉自自己该己该学学什么什么技技术术大云几时有？把酒问苍大云几时有？把酒问苍天天？行至水穷处，云起这里时！行至水穷处，云起这里时！第二部分第二部分背景和问题背景和问题第四部分第四部分XX支撑云建设蓝图支撑云建设蓝图第三部分第三部分技术发展跟踪和思考技术发展跟踪和思考第五部分第五部分建议与思考建议与思考第一部分第一部分云计算与团队建设成果云计算与团队建设成果目录目录架构转型思路：面向互联开放的云架构转型思路：面向互联开放的云聚聚化架化架构构从垂直型、功能型的传统架构，向从垂

36、直型、功能型的传统架构，向“云云+平台平台+应用应用”的互联网架构转型的互联网架构转型-架架 构云化，能力聚化，应用互联网化构云化，能力聚化，应用互联网化基于功能的垂直型系统建设应用应用数据数据 技术技术 设备设备应用应用数据数据技术技术设备设备基于开放能力的系统建设业务能力业务能力技术能力技术能力计算云计算云网络云网络云网络网络转转 型型1、基础设施架构云化：、基础设施架构云化：通过云计算技术，实现资源分配的高弹性高扩展性。满足互联网时代业务对技 术架构的高并发、快速响应、高可靠、海量存储等要求。2、业务、技术能力平台化：业务、技术能力平台化：将各系统逐步进行改造形成应用+平台，标准化的、集

37、成化、开放化的技 术、数据、业务能力平台，提高应用系统的专业化、组件化程度，提高建设效率。统一规划、管理各类 数据，加强大数据分析、挖掘等数据服务能力建设，推进数据变现。3、应用互联网化：、应用互联网化：依赖云+平台+敏捷开发等手段、提供无缝的、全渠道的（内、外）客户体验优良的 应用，满足企业互联网营销和服务的需要。*能力集成能力集成存储云存储云数据能力数据能力基础设施云化基础设施云化能力平台化能力平台化应用应用1 应用互联网应用互联网化化应用应用2*架构转型架构转型：IT总体架构框架视总体架构框架视图图思路：从垂直型、功能型的传统架构，向“云+平台+应用”的互联网架构转型-架构云化，能力 聚

38、化，应用互联网化。企业级中间件平台企业级中间件平台企业级计算资源服企业级计算资源服 务务企业级数据平台企业级数据平台业务支撑域业务支撑域大数据运营域大数据运营域管理信息域管理信息域运营管理域运营管理域层层IaaS层层企业级存储资源服企业级存储资源服 务务企业级网络资源服企业级网络资源服 务务ISaaSSaaSBSaaS企业级大数据平台企业级大数据平台应应 用用 层层能力集成平台能力集成平台XX中心中心能力开放平台能力开放平台应用应用层层：供内、外部客户通过各种渠道交互使用，综合提供多渠道协同的一致的客户体验。（分域建 设）。层次划分及关系说明层次划分及关系说明ISaaS层层：通过能力集成层完成

39、各核心能力中心能力的编排及标准化处理，实现对内（各中心间通信）对外（各渠道应用）的透明访问与控制，并基于能 力开放平台完成能力的运营，实现能力的资产化管 理。BSAAS层层：能力层，实现核心的业务、数据、基础 技术等标准能力，对外提供标准化服务接口，并通 过能力集成层完成能力的注册与访问。关注能力的 聚合性与标准化。EPAAS层层：提供应用系统部署及运行所需要的云化 软硬件资源的透明访问与控制，实现应用与系统软 硬件的分离。APAAS层层：应用部署与运行层，提供应用系统部署 及运行所需要的软件资源，通过EPASS对外提供访 问服务。IAAS层层：基础设施层，提供应用系统运行的各种硬 件资源，通

40、过EPASS层虚拟化后提供高扩展、高性 能、高可靠的云化系统。EPaaSAPaaSPaaS企业级云服务控制企业级云服务控制 平台平台层层XX系统系统XX系统系统XX系统系统XX系统系统架构转型架构转型：IT总体架构框架视总体架构框架视图图*能力集成与开放平台能力集成与开放平台业务支撑域业务支撑域大数据运营域大数据运营域管理信息域管理信息域运营管理域运营管理域应应 用用 层层PaaS层层IaaS层层BSaaSEPaaSAPaaSDPAASBDPAAS包括实体渠道、互联网渠道、热线渠道各种交互式系统。大数据域应用：包括数据门 户，客户体验、财务分析、决策分析、创新变现等应用。企业管理门户及系统。运

41、营管理门户及系统。企业内部集成使用，包括服务总线、流程平台、数据总线 等，企业外部以开放服务提供业务能力及通信能力业务能力服务业务能力服务业务支撑域能力，业务支撑能力与基础业务与系统能力。包括客户体验分析、财务分析、运营决策分析；创新变现等能 力。包括财务与人力管理，供应 链管理、规划与项目管理、ERP、办公等能力。企业级云服务企业级云服务提供应用系统部署及运行所需要的软硬件资源虚拟后的透明访问与管理控制功能，包括弹性 资源管理、分布式资源协调、分布式调度。企业级中间件服务企业级中间件服务供应用部署及运行时使用的中间件，包括WEB软件、消息中间件软件、分 布式缓存等软件平台。企业级数据服务企业

42、级数据服务供应用部署及运行时使用的数据库软 件。企业级数据服务企业级数据服务供应用部署及运行时使用的大数据与 流计算软件。企业级计算资源服务企业级计算资源服务各种计算资源池服务。企业级存储资源服务企业级存储资源服务各种存储资源池服务。企业级网络资源服务企业级网络资源服务各种网络资源池服务。ISaaSSaaS层层包括监控管理，流程管理、运营分析、安全管理等能 力。能力规能力规划划-XX公司支撑云平台蓝图公司支撑云平台蓝图已具备能力2019年建设2019年研究结合互联网企业先进理念和运营商结合互联网企业先进理念和运营商实实际情际情况况制定制定的的XX公公司云司云平平台蓝图台蓝图业务支撑系统客户服务

43、系统经营分析系统管理信息系统运营门户资源管理服务目录流程管理监控告警部署自动化容量管理运维自动化安全管理自助服务业务业务系统系统Pa a S物理资源（服务器、磁盘阵列、交换机、路由器）计算虚拟化（VCS）分布式块存储（DBS）分布式文件存储（DFS）分布式对象存储（DOS）网络虚拟化（NV）网络设备虚拟化（NFV）Ia a S虚拟服务总线（VSB）应用容器（AC）实体服务总线（ESB）负载均衡（LB）分布式消息队列（DMQ）分布式缓存（DMC）关系型数据库（RD）高速关系型数据库（HSRD）强一致性分布式内存数据库（CDMD）流计算（SP）弱一致性批处理迭代式批处理（WCBP）（IBP）强一致

44、性数据分析强一致性数据挖掘（CDA）（CDM）实时处理（RTP）高速流计算（HSSP）数据交换（DE）分布式内存数据库（DMD）分布式协调服务（DCS）分布式调度服务（DDS）资源弹性伸缩服务（ESS）容器虚拟化（CVS）能力规能力规划划-XX公司支撑云平台蓝图公司支撑云平台蓝图的的主要主要突突破点破点 着重规划了着重规划了PaaS层服务能力，突破近年来云平台长期处于低水层服务能力，突破近年来云平台长期处于低水平平IaaS级建设级建设的的 束缚，有望将束缚，有望将虚机级虚机级弹性伸缩扩展到弹性伸缩扩展到集群级集群级，初步提升资源利用率和费效比初步提升资源利用率和费效比，同时在同时在快速部署开通

45、、有效敏捷支撑业务获得明显提升快速部署开通、有效敏捷支撑业务获得明显提升 直接针对阿里飞天，创新性提出直接针对阿里飞天，创新性提出EPaaS（数据中心操作系统）的规划（数据中心操作系统）的规划，是实现是实现 深度的弹性伸缩、提高资源利用率、降本增效的关键，深度的弹性伸缩、提高资源利用率、降本增效的关键，为为真正实现数据中心级真正实现数据中心级“大云大云”迈出坚实的一步迈出坚实的一步 IaaS-IaaS资源池化资源池化-小云小云 APaaS指指TPaaS、DPaaS、BDPaaS-PaaS资源池化资源池化-中云中云 IaaS+APaaS=技术服务层技术服务层 EPaaS=控制层控制层-控制标准化

46、控制标准化-大云大云能力规划能力规划-与互联网公司对标与互联网公司对标同样能实现：同样能实现：数据中心级资源抽 象化和共享化 技术平台标准化 应用与平台解耦阿阿 里里 云云 全全 景景 图图与阿里云相比，我们的支撑云平台与阿里云相比，我们的支撑云平台有自己的优势：有自己的优势：云服务数量更多开源社区版、开源 商业版、商业版产品融合使用，技技 术开放性、数据一致性和安全性更术开放性、数据一致性和安全性更高高计划建设计划建设XX移动特色的私有云，力争三年内建设达到或接近国内先进水平移动特色的私有云，力争三年内建设达到或接近国内先进水平也有挑战：也有挑战：应用云化迁移仍需逐步深入 和全面投产的阿里云

47、不同，我 们的云平台很多服务尚需逐步落地阿里云目前已经涵 盖IaaS和PaaS层 多种云服务能力2019年度支撑云建设重点目标年度支撑云建设重点目标引入开源虚拟化平台开源虚拟化平台KVM搭建 小规模资源池，降低对商业虚拟 化软件的依赖在资源池中尝试引入软软件件定义存定义存 储储并池化管理，提升存储使用效 率并降低成本 提升IaaS和PaaS层资源接资源接入入能力 实现资源自助式服自助式服务务和一键式开一键式开 通通能力 打造敏捷集敏捷集成成能力，实现标准化 资源集成周期由两周缩短为3天天TPaaS层，重点建设分分布布式式消消息息队队列列和缓存和缓存等基础应用集成平台DPaaS层，重点引入数据数

48、据库库云平云平台台，搭建PG-XC平台用于去“O”试点BDPaaS（大数据平台）层，重点建 设分布式实时处理和批分布式实时处理和批处处理、理、数数据挖据挖 掘、流处理掘、流处理等平台IaaSPaaS云管理云管理IT云云IT云云平平平平台台台台建建建建设设设设内内目目容容标标和和和和目目内内标标容容至2019年底，在云平台建设和去“ioe”方面取得重大突破，云化比例 达到60%；提供16种种服务能力；实现自助式服务开通和敏捷集成；-迎头赶上年内年内达达到运到运营营商内商内部部领先领先水水平平云平台建云平台建设设平台平台支撑云建设思路的转支撑云建设思路的转变变-两大转两大转型型三管齐下：三管齐下：

49、能力规划能力规划，构建支撑云发展蓝图，构建支撑云发展蓝图 以蓝图为路标，以蓝图为路标，建设云平台建设云平台将云计算技术架构落地沉淀将云计算技术架构落地沉淀 推动推动应用上云应用上云，以私有云的形式向上层应用提供基础技术平台服，以私有云的形式向上层应用提供基础技术平台服务务。自上而自上而下下自下而上自下而上 应用云应用云化化应用上云应用上云以云平台服务目录管理为入口，坚以云平台服务目录管理为入口，坚决决推进推进技技术架术架构构标准标准化化XX移动传统数据分析系统架构移动传统数据分析系统架构XX移动传统数据系统主要包括数数据据仓库仓库层层和数数据据集市集市层层，其中数据仓库层主要负责基础数据模 型

50、的处理和历史数据存储，数据集市层从数据仓库获取基础数据模型，并在此基础上支撑端到端 应用。数据仓库层主要包括主主仓仓库、库、应应急库、急库、历史库和互联网日志集历史库和互联网日志集群群。主仓库负责原始数据的采集和处理，并 将处理后的基础数据模型分发给各数据 集市，同时承载一经、KPI、MIS等及时 性较高的关键应用；应急库作为主仓库 的业务级容灾系统，用于保障核心业务 连续稳定运行；历史库存储主仓库历史 数据，并用于长周期历史数据趋势分析；互联网日志集群主要负责互联网日志数 据的预处理。主仓库、应急库、历史库采用小型机+高端SAN存储+传统DB2数据库构建；报表库、地市数据中心、创新平台、VG