新华网云计算架构设计课件.pptx
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《新华网云计算架构设计课件.pptx》由用户(三亚风情)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 新华网 计算 架构 设计 课件
- 资源描述:
-
1、浪潮互联网为互联网而生2016年1月新华网云计算方案汇报浪潮互联网为互联网而生2016年8月1、项目总体架构描述系统现状分析WEB前端服务器易耗CPU,内存需求小,对磁盘大小及性能要求不高缓存服务器除了对内存需求较大,对其他资源需要不多中间件服务器对cpu要求不高,内存需要偏大,对磁盘空间及性能要求不高应用服务器通常对cpu,内存,磁盘没有特别需求,需求可大可小,对磁盘性能要求不高提供全面快捷的资源服务新华网云数据中心技术支撑类基础业务类报道支撑类社交应用类数据中心运营服务类数据库服务器对cpu、内存、磁盘性能、网卡性能都需要较多资源。对磁盘大小需求不多存储服务器需要多组服务器做分布式存储,用
2、于NAS、对象存储负载均衡器F5,A10等第三方硬件;外围边界软硬件设备应急制定类基础设施类大数据业务类1、项目总体架构描述系统总体需求业务需求n技术支撑类n基础业务类n报道支撑类n社交应用类n运营服务类n应急定制开发n基础设施类n大数据业务类功能需求n架构及虚拟化功能需求n管理功能需求n兼容性与扩展性功能需求n可靠性功能需求n虚拟机性能要求n存储性能要求n网络性能要求n利旧与兼容需求n云平台管理私有云和公有云n支持多租户n统一运维运营管理平台n扩容机制系统总体需求跟踪 n云平台外层防护需求n云平台内部防护需求n云安全应用需求2、需求分析需求需求分析分析计算资源计算资源分析分析存储资源存储资源
3、分析分析资源管理资源管理分析分析PAAS平平台分析台分析大数据分大数据分析析安全分析安全分析现有设备现有设备分析分析虚拟化环境资源统计存储容量和性能分析运维自动化服务编排封闭开发架构缺乏支撑能力安全隐患未整合数据采集东西向安全南北向安全根据实际业务增加相应部件升级2、需求分析安全分析随着云计算的迅速崛起,云安全也越来越备受业界的重视。云安全联盟CSA发布的2016年十二大云安全威胁报告给出了十二种云安全的严重威胁:数据泄露、凭证被盗和身份验证如同虚设、界面和API被黑、系统漏洞利用、账户劫持、恶意内部人士、APT寄生虫、永久的数据丢失、调查不足、云服务滥用、拒绝服务(Dos)攻击、共享技术,共
4、享危险。公司硬件资源总体情况新华网安全现状云外层基础建设云平台内部需求分析云安全应用与运维公有云与私有云衔接安全分保安全需求涉密信息系统也按照秘密、机密、绝密三级进行分级管理等保安全需求对物理层、系统层、网络层、应用层、管理层多个维度进行防护企业安全要求保护自己的资产业务流不受攻击传统安全挑战一:租户安全挑战二:虚拟化安全挑战三:运维管理安全新增挑战云安全3、总体方案设计建设目标总体建设目标统筹规划、整合现在技术系统资源,全面打造可持续提供基础设施、平台和应用三种服务形式的云计算平台。实现资源的按需分配、按需扩展,实现系统从粗放型分散建设向集约型云计算模式转变,最终形成统一的以“信息集成、资源
5、 共享”为特色的云计算管理平台和云计算服务平台。 总体建设内容1、可以实现将新华网的硬件资源重新进行统一管理、统一分配、统一部署、 统一监控和统一运维。实现业务系统硬件资源的一键式分配,缩短系统搭建周期。2、完成云平台的分区分层分级设计和建设,实现不同区域资源规划和安全 隔离,实现云运营、云管理、云运维、云安全、云应用等模块的标准化、流程化、 可视化。3、实现自建云计算平台与公有云的资源共享和融合,通过对自建云计算平 台和公有云进行统一管理,实现资源和服务之间的互通、动态调度、必要数据的 相互备份等。3、总体方案设计建设原则总体策略实用性、先进及成熟型、高可用及高可靠性、用户体验及可维护型、经
6、济性、兼容及扩展性、开发性、安全性融合计算、存储、网络、数据、应用资源安全可信、可靠按需扩展伸缩兼容开放绿色节能可用性先进性可维护性实用性经济性激发创新、循环生态安全性扩展性3、总体方案设计总体架构设计总体架构设计拓扑3、总体方案设计总体功能设计功能架构图3、总体方案设计资源池分区规划资源池分区逻辑架构新华网云计算数据中心逻辑架构分为基础设施层、虚拟资源池、物理资源池、Docker资源池、安全管理区和运维管理区组成。逻辑架构图如下图所示:3、总体方案设计资源池分区规划容量性能测算按照虚拟CPU与物理CPU的整合比为1:1,每台物理服务器CPU可用量为80%计算,内存整合比也为1:1,可用容量为
7、80%。物理服务器内存(GB)=虚拟内存(GB)/0.8 物理服务器总CPU=vCPU*虚拟机数量/0.8IT资源类型资源类型建议云虚拟环境建议云虚拟环境虚机虚机需求需求数量数量物理服务器资源总量物理服务器资源总量vCPU内存内存(G)本地本地磁盘磁盘(G)CPU内存内存(G)存储容量存储容量WEB前端区前端区10101001722150215017200缓存服务区缓存服务区432100168840672016800中间件区中间件区6162004303225860086000应用服务区应用服务区4820082241108220164400数据库数据库1型区型区83220027827801112
8、055600数据库数据库2型区型区43220031015501240062000虚机资源汇总虚机资源汇总000所需物理机数量预估所需物理机数量预估2183、总体方案设计计算资源规划设计计算资源池化设计3、总体方案设计计算资源规划设计计算资源分析IT资源类型资源类型主机资源需求特点主机资源需求特点虚拟机数量虚拟机数量集群数量集群数量物理服务器物理服务器WEB前端区前端区整体资源消耗不高,对于CPU和网络有中度需求,内存需求较小,对于磁盘容量和IO要求很小。17222缓存服务区缓存服务区CPU需求较低,内存容量需求较高,对网络小包转发能力要求较高。16821中间件区中间件区整体资源消耗适中,对于C
9、PU、网络要求不高,对内存要求高,对于磁盘容量和IO要求很小。43027应用服务区应用服务区各方面资源比较均衡82252数据库数据库1型区型区CPU和内存需求相对较高,需要非常好的磁盘IO性能。27835数据库数据库2型区型区CPU需求较低,内存容量需求较高,对网络小包转发能力要求较高。31020大数据区大数据区CPU要求低,需要大内存,对磁盘存储空间要求较高,但对磁盘的随机IO能力要求不高。100PAAS平台区平台区 各方面资源比较均衡16运营运维管理运营运维管理区区对CPU、内存要求较高,对于磁盘容量有要求,网络要求适中1计算+网络密集型计算密集型计算密集型+顺序I/O计算密集型+随机I/
10、O计算密集型计算密集型计算密集型3、总体方案设计计算资源规划设计计算资源部署设计物理服务器管理BIOS设置内存设置I/O设置集群架构设计集群设计原则资源需求原则物理主机规划虚拟机管理虚拟机创建虚拟机配置虚拟机迁移虚拟机扩容虚拟主机规划整体规划虚拟主机配置规划命名规范虚拟数据中心命名规范集群命名规范物理主机命名规范虚拟主机命名规范3、总体方案设计计算资源规划设计服务器利旧分析服务器型号服务器型号配置配置利用原则利用原则HP DL380Gien92*E5 2630V3/16GB/300GB SAS 10K/4端口千兆网卡/500W电源可用于WEB服务器、缓存服务器使用HP DL380Gien92*
11、E5 2630V3/16GB/480GB SATA SSD+1TB 12G SAS 7.2K 2.5/4端口千兆网卡/500W电源可用于数据库1型区使用DELL R7302U 机架式服务器,带可调节机架安装导轨, 2 颗Intel Xeon E5-2630v3 CPU, 6 块 热 插 拔 2.5 寸1T 7.2K SAS 希捷硬盘和 2 块 2.5 寸 480G 固态硬盘 ; 128GB ( 8 16GB )DDR4 2133MHz RDIMMs ECC 内存, PERC H730P RAID 卡 2GB 缓存, 4 端口千兆Intel i350 网卡, 热插拔冗余电源,单电源功率 495,
12、内置 iDRAC Express 设备远程管理控制卡 1 块, 整件产品 5 年原厂售后服务。可用于数据库1型区使用DELL R7302U 机架式服务器,带可调节机架安装导轨, 2 颗Intel Xeon E5-2630v3 CPU, 8 块 热 插 拔 2.5 寸300G 10K SAS 希捷硬盘; 128GB( 8 16GB)DDR4 2133MHz RDIMMs ECC 内存, PERC H730P RAID 卡 2GB 缓存, 4 端口千兆Intel i350 网卡, 热插拔冗余电源,单电源功率 495,内置 iDRAC Express 设备远程管理控制卡 1 块, 整件产品 6 年原
13、厂售后服务。WEB服务器、缓存服务器使用DELL R7302U 机架式服务器,带可调节机架安装导轨, 2 颗Intel Xeon E5-2630v3 CPU, 8 块 热 插 拔 3.5 寸4T 7.2K SAS 希 捷 硬 盘 ,2 块 7.2K 2.5 寸SAS1TB ; 128GB ( 8 16GB )DDR4 2133MHz RDIMMs ECC 内存, PERC H730P RAID 卡 2GB 缓存, 4 端口千兆Intel i350 网卡, 热插拔冗余电源,单电源功率 495,内置 iDRAC Express 设备远程管理控制卡 1 块, 整件产品 7 年原厂售后服务。开发测试类
14、使用DELL R7302U 机架式服务器,带可调节机架安装导轨, 2 颗Intel Xeon E5-2630v3 CPU, 12 块 热 插 拔 3.5 寸4T 7.2K SAS 希捷硬盘和 2 块 2.5 寸 1tb 后置; 128GB(8 16GB ) DDR4 2133MHz RDIMMs ECC 内存, PERC H730P RAID 卡 2GB 缓存, 4 端口千兆Intel i350 网卡, 热插拔冗余电源,单电源功率 495,内置 iDRAC Express 设备远程管理控制卡 1 块, 整件产品 8 年原厂售后服务。分布式存储、大数据使用所有利旧设备都需要增减配部件3、总体方案
15、设计存储资源规划设计根据目前新华网需求情况,针对现有环境,本次新华网云计算平台将采用专业分布式存储系统作为新平台建设的NAS、对象池使用,结合多副本、纠删码保护方式,客户端、标准NAS、对象、HDFS、S3、Swift等多协议支持方式,提供完善的数据存储服务。存储系统的拓扑架构新改造后的系统架构3、总体方案设计存储资源规划设计全新分布式对称架构选用8台4U36盘位节点组成集群,每个节点SSD作为分层加速磁盘,其余35块选用4TB NL-SAS磁盘,整体裸容量达到 4TB*35*8*0.93=1041.6TB1PB裸容量,如果是双副本情况下,容量将达到500TB左右实际有效可用空间;对于纠删码保
16、护方式,采用4+2的节点故障域计算方式,可用容量将达到66%,可用容量达到687.06TB,并且可以保证两个节点损坏数据不丢失,业务不中断,单节点内磁盘损坏直接自动修复(只要有剩余空间)。根据目前市场主流分布式存储产品性能对比,整体分布式存储系统在连续读写场景下,单节点最高性能应达到1GB/s以上,8节点整体性能可达到5GB/s以上带宽,近线性提升。3、总体方案设计存储资源规划设计按需扩展,按需购买l性能容量按需扩展,按需购买l线性增长,可预期,可获得l数据均衡分布,消除热点l堆叠扩展,3分钟完成单节点扩容性能容量3、总体方案设计存储资源规划设计数据冗余保护纠删码技术针对近线存储数据池中非常有
17、效。存储系统还支持纠删码K+2:1规则设置。即可以支持2块硬盘故障或者1个节点故障。这种保护方式在节点数量少于K+2的小容量系统中非常有效。例如,三个节点的集群,可以配置2+1的纠删。但是不可以配置4+2的纠删,因为4+23(且4+2=2*节点数)个节点数。此种场景下,可以配置4+2:1的纠删。4+2:1的纠删冗余可以支持单个节点故障,或者任意两个节点同时各坏一块磁盘的故障。3、总体方案设计存储资源规划设计疑问存储:浪潮存储是自研的还是用的谁家的(例如哪家开源的产品)在存储这里没有写如何利旧,希望得到一个总体的拓扑图将利旧和新购同时画在图里3、总体方案设计资源管理规划设计云平台部署用户环境分为
展开阅读全文