透视云计算的热点及其应用课件.ppt

1、2云计算发展的驱动因素新摩尔定律全球数据总量每18个月翻番。大数据已经成为一种自然资源大数据不被利用就是成本数据利用比例直降计算速度越来越快，企业却越来越笨。今天很多企业能弄懂7%的企业数据，但这个数字很快会下降到4%，然后继续螺旋式下降。IBM实体分析首席科学家Jeff Jonas数据使用率提升10%的影响云计算是网络发展的必然结果云计算技术体系结构Google云计算关键技术Google文件系统GFS(Google File System)并行数据处理MapReduce结构化数据表BigTable分布式锁管理ChubbyGoogle文件系统(GFS)Google48%MSN19%Yahoo3

2、3%客户端客户端客户端互为备份管理节点GFS主节点GFS主节点C0C1C2C5数据结点1C0C2C5数据结点NC1C5数据结点2客户端客户端客户端客户端客户端客户端C1n2010年，由于数据中心和远程通信网络的快速增长，使得用电量激增，从而对气候变暖产生极大的负面影响。n到2020年，数据中心将消耗的电力资源，比法国、德国、加拿大和巴西目前消耗的电力总量还要多。绿色和平组织的报告绿色和平组织的报告云计算给用户体验带来的革命云计算给用户体验带来的革命 小小终端=超级计算机更加智能的服务如影随行的私人数据中心服务器永远不会塞车90%Off 的价格信息随手可得计算智能将大幅提升淘宝分布式数据处理云可

3、靠性研究小组云可靠性研究小组云操作系统 WebQQ2.0 腾讯PaaS百度框计算22新浪Sina App Engine24云计算的热点问题云计算的热点问题云计算安全云数据中心建设云计算的能源问题云计算平台云计算应用云计算标准云计算的热点问题云计算的热点问题云计算安全云数据中心建设云计算的能源问题云计算平台云计算应用云计算标准云计算的安全威胁与应对云计算的安全威胁与应对安全挑战 数据泄漏 数据所有权失控 虚拟机隔离性 DOS攻击 恶意代码 ARP攻击 内部人员越权应对措施 虚拟机隔离 加密数据 数据校验 安全传输 最小权限控制 安全认证 增强监控云计算的热点问题云计算的热点问题云计算安全云数据中

4、心建设云计算的能源问题云计算平台云计算应用云计算标准云数据中心开源云数据中心开源与普通数据中心相比，Facebook数据中心的能效高38%，建造成本低24%。云数据中心开源云数据中心开源俄勒冈州普林维尔(Prineville)云数据中心开源云数据中心开源云数据中心开源云数据中心开源电池柜提供备用电源云数据中心开源云数据中心开源云数据中心开源云数据中心开源云计算的热点问题云计算的热点问题云计算安全云数据中心建设云计算的能源问题云计算平台云计算应用云计算标准云计算的能源问题云计算的能源问题Atlantic Wind Connection(大西洋风力传输，AWC)计划。总成本约50亿美元，Googl

5、e将提供该计划37.5%的资金Intel太阳能面板阵列充分吸太阳能可以产生10千瓦的电力，为数据中心提供部分的电力。微软的节能措施微软的节能措施微软的节能措施微软的节能措施云计算的能源问题云计算的能源问题云计算的能源问题云计算的能源问题GoogleGoogle的节能措施的节能措施云计算的热点问题云计算的热点问题云计算安全云数据中心建设云计算的能源问题云计算平台云计算应用云计算标准云计算平台云计算平台阿里云阿里云云计算的热点问题云计算的热点问题云计算安全云数据中心建设云计算的能源问题云计算平台云计算应用云计算标准云计算应用云计算应用Hadoop节点数：15000 最大Hadoop集群:3000

6、节点每天输入数据：10PB云计算应用：复杂查询云计算应用：复杂查询云计算应用：淘宝网云计算应用：淘宝网 50G统计汇总结果 千万量级数据查询请求 平均20.8ms的响应时间1500节点，每日40000 JOB，处理数据1.5PB，凌晨2点结束，结果20TB云计算应用：淘宝网云计算应用：淘宝网Source：淘宝网 剑英 HBase简介与实践分享云计算的热点问题云计算的热点问题云计算安全云数据中心建设云计算的能源问题云计算平台云计算应用云计算标准云标准组织及云标准组织及方向方向正在制定云计算标准的组织 CSA（云计算安全联盟）DMTF（分布式管理工作组）ETSI（欧洲电信标准化协会）IETF（互联

7、网工程任务组）ITU（国际电信联盟）NIST（国家标准与技术研究院）OASIS（结构信息标准化促进组织)OCC(开放云计算联盟）OGF（开放网格计算论坛）OMG（对象管理组织）SNIA（存储网络行业协会）云计算标准可能涉及的方向 跨云的联合安全 云之间的元数据和数据交换 不同云平台之间迁移应用 描述资源能力和需求 云的监控、审计 云计费、报告、通知的标准化 与云资源交互的通用形式 云的策略和控制的表示方法 云开发、部署、移植工具 创建跨多个云的应用的开发包 机器可识别的服务水平协议52网格计算池国内云计算的提出反垃圾邮件网格云安全的前身RAID-M：磁盘矩阵海量存储系统世界计算机排序比赛冠军3

8、60联合实验室四项核心技术云创存储cProc云处理cVideo云视频cTrans云传输cStor云存储CSTOR云存储系统CSTOR云存储管理界面CSTOR性能大数据读性能大数据写性能超低功耗云存储节点1PB CSTOR云存储系统1.8PB CSTOR云存储系统CSTOR云存储系统工作原理CSTOR A8000云存储系统CSTOR的特点高可靠高可靠超高集成度超高集成度超低成本超低成本高性能高性能高可伸缩性高可伸缩性超低功耗超低功耗高易用性高易用性助力南京市公安局助力南京市公安局助力南京市公安局助力南京市公安局助力南京市公安局助力南京市公安局助力南京市公安局CSTOR部署于南京政务数据中心部署于

9、南京政务数据中心CSTOR部署于南京政务数据中心部署于南京政务数据中心CSTOR部署于南京政务数据中心部署于南京政务数据中心部署到镇江市“云神工程”部署于兰州市政府数据中心部署于兰州市政府数据中心MINICLOUD四项核心技术云创存储cVideo云视频cTrans云传输cStor云存储cProc云处理CPROC云处理平台云处理平台数据立方(DATACUBE)数据立方工作原理图 cStor云存储系统数据立方特点l对任意多关键字实时索引l支持类SQL复杂并行组合查询l分布式万兆实时数据流秒级处理l系统无单点，确保意外情况下，系统的正常运行JOBKEEPER100倍100倍数据立方云计算一体机管理系

10、统数据立方云计算一体机管理系统数据立方云计算一体机管理系统数据立方云计算一体机管理系统数据立方云计算一体机管理系统数据立方云计算一体机管理系统数据立方云计算一体机管理系统数据立方云计算一体机管理系统数据立方云计算一体机管理系统数据立方云计算一体机管理系统数据立方云计算一体机管理系统数据立方云计算一体机管理系统数据立方云计算一体机管理系统数据立方云计算一体机管理系统数据立方云计算一体机管理系统广东移动目标信令流峰值为7200Mb/s挑战：实时性、可靠性由世纪鼎利和云创存储共同完成2011.8-2012.6广东移动网络优化测评广东移动网络优化测评存储存储/处理服务器的负载处理服务器的负载基于数据立

11、方实现效果基于数据立方实现效果数据量（万条）号码结果返回时间总处理时间返回数据量370001385*0.35s3s33370001369*0.38s3s83370001381*0.27s2s30370001365*0.20s3s6431700001399*0.88s4s1491700001388*0.85s5s4451700001393*0.92s4s1491700001362*0.77s6s3361应用界面应用界面广东移动比赛现场广东移动比赛现场部署到江苏移动部署到江苏移动云计算智能交通云计算智能交通卡口数据处理云平台卡口数据处理云平台卡口数据处理云平台卡口数据处理云平台最新的国家电网测试结

12、果最新的国家电网测试结果用例数据量耗费时间结果集用例454.4亿，6.225TB827毫秒33211条用例454.4亿，6.225TB840毫秒33211条用例454.4亿，6.225TB727毫秒33211条select t.tmnl_task_id,t.terminal_id from e_mp_power_curve p,a_tmnl_task t,a_tmnl_task_obj o where p.data_date=to_date(?,yyyymmdd)and(instr(substr(DATA_WHOLE_FLAG,0,96),0)0 or instr(substr(DATA_WH

13、OLE_FLAG,0,96),4)0 or instr(substr(DATA_WHOLE_FLAG,0,96),9)0)and t.task_id=?and t.tmnl_task_id=o.tmnl_task_id and o.obj_id=p.id英特尔最新的硬件平台和管理技术英特尔E5家族系列CPU英特尔服务器组件DataCenterManager能耗管理云创存储自主知识产权的软件架构分布式文件系统cStor/HDFS分布式数据库DataCube任务执行引擎TaskMaster数据立方云计算一体机管理系统大数据处理利器，极具突破性的整柜解决方案INTEL CONFIDENTIALx8

14、PCIe G3 x8 SAS 6Gb/s16G ECCDDR3Memoryx4 SATA 6Gb/scStor cVideoX86-64 CentOSx19 2u 3.5”SAS/SATANodeIntel Server Board S2600GZ4x8 PCIe G3 x4 PCIe G3x4 PCIe G211716G ECCDDR3Memory4 1GbE 交换机 w/10GbE Uplink19 计算/存储节点684TB 容量HTA*9.2Kw峰值功耗x4 SATA 3Gb/sx2 SATA 6Gb/sQPIIntel-云创云创数据立方云计算一体机数据立方云计算一体机3TB SATA

15、Storage Drive3TB SATA Storage DriveRMS25KB080RMS25KB0403TB SATA Storage Drive4 x48 1GbE portsx4 PCIe G2 X1 PCIe G2LPC42 RUx48-10GEServer12 x 2TB SATAServer12 x 2TB SATAServer12 x 2TB SATAServer12 x 2TB SATAServer12 x 2TB SATAServer12 x 2TB SATAServer12 x 2TB SATAServer12 x 2TB SATAServer12 x 2TB SAT

16、AServer12 x 2TB SATAServer12 x 2TB SATAServer12 x 2TB SATAServer12 x 2TB SATAServer12 x 2TB SATAServer12 x 2TB SATAServer12 x 2TB SATAServer12 x 2TB SATAx48-GE x4-10GEx48-10GEx48-GE x4-10GEQPI*Need thermal validationx8 PCIe G3 AXX4P1GBPWLIOMINTEL CONFIDENTIALINTEL CONFIDENTIALINTEL-云创数据立方云计算一体机云创数据立

17、方云计算一体机INTEL CONFIDENTIALINTEL CONFIDENTIALINTEL CONFIDENTIALINTEL CONFIDENTIALINTEL CONFIDENTIAL四项核心技术云创存储cTrans云传输cStor云存储cProc云处理cVideo云视频城市级别的视频监控云视频接入模拟摄像机网络摄像机现有的视频服务器API接口模拟摄像机云接入服务器集群接入认证、负载均衡、流转发、设备注册服务等传输网络（互联网、移动公网、公安专网）网关社会监控资源模拟摄像机网络摄像机RTSP/RTP/RTCP协议分布式中心控制服务器 云转码、云存储服务器集群信令处理/任务调度监控终端

18、管理终端CVIDEO监控界面智能分析功能特征提取图像质量分析图像拼接人员行为检测智能分析核心技术类检测类烟雾检测火焰检测目标跟踪图像处理类人员密度分析统计类人流量统计车流量统计图像智能检索对已有海量视频的事件检索技术以及对事件发生视频的切片回放、运动帧提取，对象跟踪；基于事件检测的防范禁区检测，过线检测，遗留物检测，物品丢失检测，人员徘徊检测等一系列智能分析。云计算智能安防例：打架检测图像智能检索云计算智能安防目标运动视频DNA序列生成视频DNA可视化图谱四项核心技术云创存储cTrans云传输cStor云存储cProc云处理cVideo云视频CTRANS云传输0.01%0.05%0.1%0.1%0.5%10008006004002001101002004001000800600400200Throughput(Mb/s)Throughput(Mb/s)Packet LossRound Trip Time(ms)CTRANS云传输0102030405060708090147101316192225283134374043464952555861646770737679828588919497100103106109112115118121124127130133136139142吞吐量吞吐量(MB/s)云分发系统