大数据与云数据管理课件.ppt

1、第第9章章 大数据与云数据管理大数据与云数据管理 大数据大数据 云计算云计算 云数据管理云数据管理 有关大数据的两个问题有关大数据的两个问题 问题问题1：你知道什么是：你知道什么是“大数据大数据”吗？吗？如果你不知道，那么你很可能如果你不知道，那么你很可能OUT了！了！问题问题2：你听说过：你听说过“大数据大数据”吗？吗？如果你连如果你连“大数据大数据”听都没听过，那么你听都没听过，那么你绝对绝对OUT了！了！你认识这位老兄吗？你认识这位老兄吗？如果你连这位老兄都不认识，那你也太如果你连这位老兄都不认识，那你也太OUT了！了！斯诺登事件带给我们的最大震动是什么？斯诺登事件带给我们的最大震动是什

2、么？不在于他暴露了美国政府正在监听全世界这件不在于他暴露了美国政府正在监听全世界这件事情。因为，这早已是公开的秘密，对事情。因为，这早已是公开的秘密，对“世界世界警察警察”而言，这没有什么值得大惊小怪的而言，这没有什么值得大惊小怪的!而在于他使我们了解到美国政府已经具备了获而在于他使我们了解到美国政府已经具备了获取、存储、管理、分析和使用取、存储、管理、分析和使用“大数据大数据”的超的超强能力。这使美国政府获得了相对他国政府更强能力。这使美国政府获得了相对他国政府更明显的优势！明显的优势！大数据为大数据为“世界警察世界警察”的的“大拳头大拳头”装上了装上了“大眼睛大眼睛”、“大耳朵大耳朵”和和

3、“大脑袋大脑袋”！目前目前IT领域最引人关注的三个热词是什么？领域最引人关注的三个热词是什么？大数据大数据 云计算云计算 物联网物联网 其他：移动互联网，社交网，其他：移动互联网，社交网，XXX2.0/3.0/什么是大数据？什么是大数据？来源：来源：2008年年9月月科学科学(Science)杂志发杂志发表了一篇文章表了一篇文章“Big Data:Science in the Petabyte Era”，从此从此“大数据大数据”这个词开这个词开始被广泛传播。始被广泛传播。什么是大数据？什么是大数据？没有统一定义，因为没有统一定义，因为“大大”是一个相对是一个相对“小小”而言概念。而言概念。与大

4、数据与大数据(Big Data)相类似的词汇：相类似的词汇：Large Scale 大规模大规模,Very Large 超大规模超大规模,Massive 海量海量什么是大数据？什么是大数据？从历史发展的视角看这几个从历史发展的视角看这几个词：词：Very Large表示表示GB级别的数据级别的数据Massive表示表示TB级的数据级的数据Big Data表示表示PB级别及其以上级别及其以上的数据的数据 显然，争论它们中哪一个更显然，争论它们中哪一个更大没有什么意义。大没有什么意义。什么是大数据？什么是大数据？一个普遍接受的定义一个普遍接受的定义大数据是指无法在可容忍的时间内用传统方大数据是指无

5、法在可容忍的时间内用传统方法或工具对其进行抓取、管理和处理的数据法或工具对其进行抓取、管理和处理的数据集合。集合。数据集组成非常巨大和复杂，以至于传统数数据集组成非常巨大和复杂，以至于传统数据库管理工具处理起来面临很多问题。据库管理工具处理起来面临很多问题。获取、存储、检索、共享、分析和可视化。获取、存储、检索、共享、分析和可视化。数据量达到数据量达到PB、EB或或ZB级别。级别。难道这就是大数据？难道这就是大数据？难道这就是大数据？难道这就是大数据？大数据产生的背景 数据量 3个月翻一番 通信速度 6个月翻一番 存储容量 9个月翻一番 集成电路 18个月翻一番 现在网络环境下每18个月产生的

6、数据量相当于过去几千年的数据量之和 数据之多，数据量之大，前所未有大数据有多大？大数据有多大？以互联网为例以互联网为例 Facebook截止2012年4月，每日评论已达32亿条；每天新上传照片近3亿张。每周新增图片容量约60TB，图片总量约2600亿张，已超过20PB。平均每秒3500次写操作，读操作的峰值可以达到每秒百万次。Amazon目前目前EC2有约有约450000台服务器台服务器(存储存储+处理处理)。大数据有多大？大数据有多大？多，实在是多！多，实在是多！繁，实在是繁！繁，实在是繁！大，实在是大！大，实在是大！No data like more data!数据永远也不嫌多！数据永远也

7、不嫌多！大数据从何而来？大数据从何而来？机器机器 存储存储软件、系统文件、基础数据软件、系统文件、基础数据元数据元数据(如索引如索引)冗余、备份冗余、备份 处理处理原始数据的自动加工：原始数据的自动加工：压缩、聚类、规则适用、可视化、智能衍生压缩、聚类、规则适用、可视化、智能衍生 传播传播负载迁移、分布式共享负载迁移、分布式共享(如如P2P)大数据从何而来？大数据从何而来？人人 内容提供商内容提供商新闻报道、时事评论、广告宣传新闻报道、时事评论、广告宣传音频、视频、微视频音频、视频、微视频 职业撰稿人职业撰稿人网络作家、写手、推手、水军网络作家、写手、推手、水军 普通大众普通大众博文、图片、音

8、乐、视频博文、图片、音乐、视频 SNS网络传播网络传播评论、转发评论、转发大数据从何而来？大数据从何而来？物理世界物理世界 无所不在的感知数据无所不在的感知数据 传感节点传感节点(压力、温度、湿度、声光电压力、温度、湿度、声光电)无线宽频信号采样、太湖蓝藻检测、无线宽频信号采样、太湖蓝藻检测、PM 2.5 视频监控视频监控目前目前1路路720P高清视频摄像数据每小时视频录像高清视频摄像数据每小时视频录像3GB左右。按一左右。按一个月保存时间要求计算，个月保存时间要求计算，3GB/小时小时24小时小时30天天1路路=2.16T。一个拥有。一个拥有500路高清视频摄像，需要保存路高清视频摄像，需要

9、保存1个月的监控系统所需个月的监控系统所需的最少存储容量是的最少存储容量是1PB。对地观测对地观测资源三号卫星在运行前两个月的时间内，产生资源三号卫星在运行前两个月的时间内，产生37TB的原始影像的原始影像数据。这是后续互联网地图的基础。数据。这是后续互联网地图的基础。天文物理、气象、医学等专业领域数据天文物理、气象、医学等专业领域数据大数据向何而去？大数据向何而去？服务服务如果不能提供服务，大数据就没有意义。如果不能提供服务，大数据就没有意义。面向人、机、物的服务面向人、机、物的服务物理世界：需要足够的采样数据物理世界：需要足够的采样数据机器：需要数据具有关联度，能够从中分析出有用信机器：需

10、要数据具有关联度，能够从中分析出有用信息，非结构化息，非结构化半结构化半结构化结构化结构化人：能够直接使用数据的表现形式，进行生产和决策人：能够直接使用数据的表现形式，进行生产和决策大数据为什么重要？大数据为什么重要？2012年年3月月29日，奥巴马政府宣布投资日，奥巴马政府宣布投资2亿亿美元启动美元启动“大数据研究和发展计划大数据研究和发展计划”，美国，美国政府已把政府已把“大数据大数据”上升到了国家战略的层上升到了国家战略的层面。面。中国政府和业界对中国政府和业界对“大数据大数据”高度重视并高度重视并在大力推进。据报道，今年两会上已有委员在大力推进。据报道，今年两会上已有委员提出将大数据列

11、入国家发展战略。提出将大数据列入国家发展战略。20大数据的特征大数据的特征1电子商务电子商务科学计算科学计算网络生活网络生活每月交易21亿笔，产生300TB交易日志信息 7亿用户、400亿张照片，总容量超过1500TB新墨西哥州的天文望远镜每年产生80TB的图像信息美国国会图书馆存档信息量：约美国国会图书馆存档信息量：约 80TB生物信息生物信息第一个中国人的全基因组图谱，1177亿碱基对21大数据的特征大数据的特征2许多数据是人造出来的！许多数据是人造出来的！例子：北京至纽约的客机有千余个传感器例子：北京至纽约的客机有千余个传感器，一次飞机记录的数据达数百，一次飞机记录的数据达数百T T至至

12、P P级。级。22大数据的特征大数据的特征3非结构化非结构化=没有找到共性特征没有找到共性特征多层结构多层结构大数据的构成大数据的构成大数据的大数据的4V特性特性体量Volume多样性Variety价值密度Value速度Velocity非结构化数据的超大规模和增长总数据量的8090%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍大数据的异构和多样性很多不同形式(文本、图像、视频、机器数据)无模式或者模式不明显不连贯的语法或句义大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析(机器学习、人工智能Vs传统商务智能(咨询、报告等)实时分析而非批量式分析数据输入、处理与丢弃立竿

13、见影而非事后见效Volume 数据量数据量PB是大数据层次的临界点是大数据层次的临界点.KB-MB-GB-TB-PB-EB-ZB-YB-NB-DBValue 价值价值 挖掘大数据的价值类似沙里淘金,从海量数据中挖掘稀疏但珍贵的信息.价值密度低价值密度低,是大数据的一个典型特征是大数据的一个典型特征.Variety 多样性多样性 企业内部的经营交易信息，物联网世界中商品，物流信息；互联网世界中人与人交互信息，位置信息等是大数据的主要来源。能够在不同的数据类型中，进行交叉分析的技术，是大数能够在不同的数据类型中，进行交叉分析的技术，是大数据的核心技术之一。据的核心技术之一。语义分析技术，图文转换技

14、术，模式识别技术，地理信息技术等，都会在大数据分析时获得应用。Velocity 速度速度 1s 是临界点。对于大数据应用而言,必须要在1秒钟内形成答案,否则处理结果就是过时和无效的。实时处理的要求实时处理的要求,是区别大数据引用和传统数据仓是区别大数据引用和传统数据仓库技术、库技术、BI技术的关键差别之一技术的关键差别之一。脸谱脸谱(Facebook)(Facebook)数据中心数据中心微软微软(Microsoft)(Microsoft)数据中心数据中心苹果苹果(Apple)(Apple)数据中心数据中心谷歌谷歌(Google)(Google)数据中心数据中心数据中心数据中心看上去，规模庞大看

15、上去，规模庞大4大数据管理的基础大数据管理的基础数据中心数据中心30数据中心数据中心走进去，结构复杂走进去，结构复杂4大数据管理的基础大数据管理的基础数据中心数据中心数据库与大数据数据库与大数据GB/TB级高质量、较干净强结构化Top-down重交易确定解数据库数据库vs大数据大数据*传统数据库传统数据库/数据仓库数据仓库PB级以上有噪声、有冗余非结构化Bottom-up重交互满意解大数据大数据“大数据”是数据增长从量变到质变的里程碑 从人的认知角度来看，在数据量比较小的情况下，我们基于典型的数从人的认知角度来看，在数据量比较小的情况下，我们基于典型的数据去思考。据去思考。例如，我们可以设计一

16、个数据模型来管理目前没遇到但以后可能遇到例如，我们可以设计一个数据模型来管理目前没遇到但以后可能遇到的数据，或者设计一个精妙的算法正确高效地处理将来可能遇到的数的数据，或者设计一个精妙的算法正确高效地处理将来可能遇到的数据和各种情况。据和各种情况。而大数据则颠覆了这一假定，目前的数据量已足够大，足以包罗万象而大数据则颠覆了这一假定，目前的数据量已足够大，足以包罗万象，充分利用现有数据得出的全面而简约的数据模型和算法足以应对我，充分利用现有数据得出的全面而简约的数据模型和算法足以应对我们可能遇到的各种情况。们可能遇到的各种情况。换言之，数据模型与算法设计的首要任务不再是人基于少量数据的思换言之，

17、数据模型与算法设计的首要任务不再是人基于少量数据的思考，而是机器基于海量数据的分析归类。考，而是机器基于海量数据的分析归类。从基于猜测假定的设计到基于事实和经验的归纳总结，是人类认知过从基于猜测假定的设计到基于事实和经验的归纳总结，是人类认知过程的进步。程的进步。这是一个革命性的进展，是大数据之所以激动人心的根本。这是一个革命性的进展，是大数据之所以激动人心的根本。大数据不仅仅是“大”多大？PB 级比大大更重要的是数据的复杂性数据的复杂性，有时甚至大数据中的小数据如一条微博就具有颠覆性的价值大数据的应用不仅仅是精准营销 通过用户行为分析实现精准营销是大数据的典型应用，但是大数据在各行各业特别是

18、公共服务领域具有广阔的应用前景消费行业金融服务食品安全医疗卫生军事交通环保电子商务气象软件是驱动大数据的引擎 和数据中心和数据中心(Data Center)一样，软件是大一样，软件是大数据的驱动力。数据的驱动力。软件改变世界！软件改变世界！大数据生态:软件是引擎前瞻来看，随着互联网对网民的理解，网民对网络的反作用，互联网将变得越来越智能。它在满足你需求的同时，也在创造新的需求。前者的代表是Google，后者的典型则是Facebook。谷歌的盈利在于所有的软件应用都是在线的。用户在免费使用这些产品的同时，把个人的行为、喜好等信息也免费的送给了Google。因此Google的产品线越丰富，他对用户

19、的理解就越深入，他的广告就越精准。广告的价值就越高。这是正向的循环，谷歌好用的、免费得软件产品，换取对用户的理解；通过精准的广告，找到生财之道。颠覆了微软卖软件拷贝赚钱的模式。成为互联网的巨擘。互联网越来越智能互联网越来越智能Google精确掌握用户行为、获取需求精确掌握用户行为、获取需求微博为新浪带来巨大价值微博为新浪带来巨大价值马云的判断来自于数据分析马云的判断来自于数据分析“2008年初年初,阿里阿里巴巴平台上巴巴平台上整个整个买买家家询盘数急剧下滑询盘数急剧下滑，欧美对中国采购欧美对中国采购在下滑。海关是卖在下滑。海关是卖了货了货,出去以后再出去以后再获得数据获得数据;而我们而我们提前

20、半年时间从询提前半年时间从询盘上推断出世界贸盘上推断出世界贸易发生变化了易发生变化了。”马云对未来的预测，是建立在对用户行文分析的基础上。马云对未来的预测，是建立在对用户行文分析的基础上。通常而言，买家在采购商品前，会比较多家供应商的产品，反映到阿里巴巴网站统计数据中，就是查询点击的数量和购买点击的数量会保持一个相对的数值，综合各个维度的数据可建立用户行为模型。因为数据样本巨大，保证用户行为模型的准确性。因此在这个案例中，询盘数据的下降，自然导致买盘的下降。腾讯在天津投资建立亚洲最大的数据中心；百度也在投资建立大数据处理中心；新浪推出企业微博产品，提供精准的数据分析服务。更高一层数据层面整合企

21、业内外部更高数据层面整合利用用户”行为指纹”创造新商机用户在线的每一次点击，每一次评论，每一个视频点播，就是大数据的典型来源。互联网企业之所以取得令人瞩目的成绩，其核心的本质就是包括用户网络操作的大数据，进行记录和分析，形成用户“行为指纹”，从而洞悉用户的潜在的、真实的需求，形成预判。这是传统企业花费重金都难以企及的梦想。所有传统的产品公司都只能沦为这种新型用户平台级公司的附庸。大数据应用中的陷阱大数据应用中的陷阱邦弗朗尼原理邦弗朗尼原理(Bonferronis Principle)邦弗朗尼原理邦弗朗尼原理:在数据随机性假设的基础上，计算所寻找的事件的发生的期望值，如果该期望值大于找到的真实事

22、件的数目，则所找到的事件很可能是一种假象假象。即随着数据规模数据规模的不断增加，任何数据都会显现出一些不同寻常的特征，这些特征看上去似乎非常重要，但实际上却并不重要。42整体情报预警的故事整体情报预警的故事 设有一群恐怖分子会偶尔在酒店聚会策划恐设有一群恐怖分子会偶尔在酒店聚会策划恐怖阴谋。怖阴谋。想找出那些同一天在同一个酒店至少出现两想找出那些同一天在同一个酒店至少出现两次的人群。次的人群。43假设假设 被监控的人数：10亿(109)被监控的天数：1000 days 每个人去酒店的概率 1%(1000天里住10天酒店)有 10万(105)家酒店，每家酒店可容纳100 人 每个人行为都是随机的

23、。通过数据挖掘能发现可疑行为吗？44Calculations (1)人员 p 和人员 q 同一天在同一个酒店出现的概率:1/100 1/100 10-5=10-9.人员p 和 q 在d1 和 d2 出现在同一个酒店的概率:10-9 10-9=10-18.1000天任意两天的排列组合:5105.p atsomehotelq atsomehotelSamehotel45Calculations (2)人员 p 和 q 在任意两天出现在同一个酒店的概率:5105 10-18=510-13.可能的人数是10亿，任意两个人的排列组合是:51017.平均可疑的人员对的数目:51017 510-13=250

24、,000.实际上他们是纯随机导致的巧合46结论结论 假设真的有假设真的有10 对恐怖分子在同一个酒店出对恐怖分子在同一个酒店出现两次现两次 那么需要扫描那么需要扫描250,010 对候选人才能找出这对候选人才能找出这10对恐怖分子对恐怖分子这个方法好吗？这个方法好吗？“大数据大数据”是不能乱用的！是不能乱用的！大数据与云数据管理大数据与云数据管理 大数据大数据 云计算云计算 云数据管理云数据管理 云计算（Cloud Computing）,2007年第3季度才诞生的新名词，仅过了半年多，其受到关注程度就超过网格计算（Grid Computing），而且关注度至今一直居高不下 云计算是一种商业计算

25、模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。云计算到底是什么？云计算有什么特点？云计算起源和发展1961年斯坦福教授年斯坦福教授John McCarthy 提出计算资源可以提出计算资源可以成为一种重要的新型工业基础。类似水、电、气和成为一种重要的新型工业基础。类似水、电、气和通信。通信。1999年年Salesforce成立，成立，2001年发布在线年发布在线CRM系统系统2001年年Google CEO Eric Schmidt 在搜索引擎大会上首在搜索引擎大会上首次提出次提出”Cloud Computing“概念。概念。2003

26、年年Google逐步开始在内部使用云计算，逐步开始在内部使用云计算，2008年年推出推出Google AppEngine云计算平台云计算平台2006年年Amazon正式对外推出弹性计算服务正式对外推出弹性计算服务(EC2)。各大全球知名厂商跟进。各大全球知名厂商跟进(IBM,MicroSoft.)51什么是云计算什么是云计算?计计 算：算：对数值或信息进行处理并得到结果的过程，有时也对数值或信息进行处理并得到结果的过程，有时也指计算方式。指计算方式。1+1=2 flower.bmp1+1=2 flower.bmpflower.jpgflower.jpg云：云：由网络连接起来的各种计算资源由网络

27、连接起来的各种计算资源(包括计算设备和其上包括计算设备和其上的软件的软件)云计算：云计算：运用由网络连接起来的大量虚拟化的计算设备对信运用由网络连接起来的大量虚拟化的计算设备对信息进行处理并得到结果的一种计算方式。不是一种产品，也息进行处理并得到结果的一种计算方式。不是一种产品，也不是一种技术，而是一种产生和获取计算能力的模式。不是一种技术，而是一种产生和获取计算能力的模式。52大型机时代大型机时代1960年代 1980年代 2000年代 1990年代 微型机时代微型机时代个人计算机变革个人计算机变革q将只在特定行业中应用的大型主机变成每个人都负担得起的个人电脑，大幅度提高了个人生产效率和企业

28、效率互联网变革互联网变革q将数以亿万计的信息孤岛汇集成庞大的信息网络，极大的提高了人类沟通，共享和协作的效率，丰富了社交和娱乐生活互联网时代互联网时代云计算变革云计算变革q将IT基础设施转变为像水和煤气一样的社会公用基础设施q超级数据中心成为IT资源和服务的提供者技术技术云计算时代云计算时代时间时间云计算是继个人计算机、互联网变革之后的第三次云计算是继个人计算机、互联网变革之后的第三次IT革命革命云计算的由来云计算的由来云计算定义云计算定义云计算(Cloud Computing)：是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格

29、计算(Grid Computing)的发展，或者说是这些计算机科学概念的商业实现。是指基于互联网互联网的超级计算模式-即把存储于个人电脑个人电脑、移动电话移动电话和其他设备上的大量信息和处理器处理器资源集中在一起，协同工作。在极大规模上可扩展的信息技术能力向外部客户作为服务来提供的一种计算方式。使得计算资源如同用水、用电、用燃气一样40多亿的移动电话多亿的移动电话一一 2010年 数据来源:Nokia个人电脑个人电脑和和笔记本电笔记本电脑脑企业电脑企业电脑和服务器和服务器PDA54从不同角度看云计算的内涵从不同角度看云计算的内涵1.1.云计算是一种云计算是一种ITIT基础设施交付和使用模式基础

30、设施交付和使用模式从原理看，云计算是将计算工作分布在大量的、分布式的计算机上，从而利从原理看，云计算是将计算工作分布在大量的、分布式的计算机上，从而利用大量计算资源用大量计算资源(包括硬件设备、软件及网络等包括硬件设备、软件及网络等ITIT基础设施基础设施)完成所要求的计完成所要求的计算任务。算任务。云计算环境下，与传统的云计算环境下，与传统的ITIT基础设施交付和使用模式的主要区别：基础设施交付和使用模式的主要区别：1.1.基础设施建设运维方式不同：基础设施所有权和运维责任基础设施建设运维方式不同：基础设施所有权和运维责任2.2.交付和使用的便捷性不同：提供商交付方式和用户使用方式交付和使用

31、的便捷性不同：提供商交付方式和用户使用方式55从不同角度看云计算的内涵从不同角度看云计算的内涵2.2.云计算是一种信息服务的交付和使用模式云计算是一种信息服务的交付和使用模式从商业层面看，云计算提供的是而且仅是服务从商业层面看，云计算提供的是而且仅是服务可以统称为可以统称为“云服务云服务”。从云计算服务商和云计算用户间的关系看，服务商并未向用户提供硬件、软件等事从云计算服务商和云计算用户间的关系看，服务商并未向用户提供硬件、软件等事物或具体产品，而是运用自己所掌握的物或具体产品，而是运用自己所掌握的ITIT资源帮助用户完成计算任务，满足用户使资源帮助用户完成计算任务，满足用户使用软硬件设备或获

32、得信息的需要用软硬件设备或获得信息的需要。基础设施作为服务基础设施作为服务(IaaS)平台作为服务平台作为服务(PaaS)软件作为服务软件作为服务(SaaS)服务器服务器网络网络存储存储中间件中间件协同合作协同合作业务流程业务流程CRM/ERP/HR行业应用行业应用数据中心数据中心Fabric共享的虚拟化的共享的虚拟化的,动态部属动态部属数据库数据库Web 2.0 应用运行环境应用运行环境Java运行环境运行环境开发工具开发工具云计算分类Computing onDemandBlue Cloud,PureScale Appliication System市场的市场的例子例子IBM 的的例子例子S

33、ource:Hagen Wenzek CHQ Strategy,2/09云计算分类操作系统+应用服务引擎应用系统基础设施基础设施应用平台应用平台应用软件应用软件(IaaS)(PaaS)(SaaS)根据提供的服务类型，将云计算应用(服务)分为三类Infrastructure as a Service以服务的形式提供虚拟硬件资源，如虚拟主机/存储/网络/安全等资源。用于无需购买服务器、网络设备、存储设备，只需通过互联网租赁即可搭建自己的应用系统典型应用：Amazon Web服务IDCPlatform as a Service提供应用服务引擎，如互联网应用编程接口/运行平台等。用户基于该应用服务引擎

34、，可以构建该类应用。典型应用：Google AppEngine,IBMPureScale Application System,SAESoftware as a Service用户通过标准的Web浏览器来使用Internet上的软件。用户不必购买软件，只需按需租用软件典型应用：LotusLive,S58从不同角度看云计算的内涵从不同角度看云计算的内涵3.3.云计算是一种基于互联网的新型计算模式云计算是一种基于互联网的新型计算模式从数值和信息处理的角度看，云计算是通过互联网将计算任务分布到由大量从数值和信息处理的角度看，云计算是通过互联网将计算任务分布到由大量计算机构成的资源池上，从而使用户能够

35、根据需要获取计算能力、存储空和计算机构成的资源池上，从而使用户能够根据需要获取计算能力、存储空和信息服务。信息服务。云计算的四方面新特征：云计算的四方面新特征：1.1.资源汇聚：计算资源汇聚在一起通过多租户模式服务多个消费者资源汇聚：计算资源汇聚在一起通过多租户模式服务多个消费者2.2.快速弹性：计算能力能够以某种自动方式快速而弹性地实现供应快速弹性：计算能力能够以某种自动方式快速而弹性地实现供应3.3.按需的自助服务：消费者能够根据自己的需要获取计算能力按需的自助服务：消费者能够根据自己的需要获取计算能力4.4.可控可计量：系统根据服务类型提供相应的计量方式可控可计量：系统根据服务类型提供相

36、应的计量方式59云计算服务对象：在各行各业、各种组织、各种产业拓展应用范围云计算服务内容：从基础架构、在线存储、软件服务扩展到各种应用领域云计算服务形式：更简单易用、更安全、更智能的差异化服务从行业视角 满足中小企业、政府部门、科研教育、娱乐、商业企业的信息化需求 成为互联网企业的运营平台和资源平台 成为人民群众生活的必需品从产业领域视角 成为物联网信息存储、分析的智能化平台 成为移动互联网的基础信息支撑平台 成为移动电子商务、移动支付的支持平台 逐步进入网络通信基础设施领域已有主要服务内容 基础设施即服务/IaaS 软件平台即服务/PaaS 软件即服务/SaaS 存储即服务/DaaSXaaS

37、一切皆服务，延伸到各种应用 硬件即服务：终端设备成为服务发布形式 消息即服务：消息中间件成为服务 监控即服务：监控内容成为服务 现存各种应用均被云服务化 更为便捷：就像现在水、电、气、通信那样简单，打开即用，关闭即停，按需使用，用完充值 隐私和信息安全更有保障：用户信息隔离、网络传输加密、高强度身份认证、服务商数据安全审核 更智能化：用户服务状态恢复、信息推荐、精准营销、预测用户潜在信息需求、差异化服务：提供从免费、普通用户、中端用户、高端用户的各种服务，按质论价云服务云服务云计算的优势云计算的优势数据在云端：不怕丢失,不必备份,可以任意点的恢复；软件在云端：不必下载自动升级；无所不在的计算：

38、在任何时间，任意地点，任何设备登录后就可以进行计算服务；无限强大的计算：具有无限空间的，无限速度。硬件为中心硬件为中心软件为中心软件为中心 服务为中心服务为中心 PCC/S云计算天下大势，合久必分，分久必合，天下大势，合久必分，分久必合，计算机技术的分合演义计算机技术的分合演义 早期计算技术以早期计算技术以“合合”为特征为特征:曲高和寡曲高和寡 PC的发展使的发展使“分分”成为了主流成为了主流:旧时王谢堂前燕，飞入寻常百姓家旧时王谢堂前燕，飞入寻常百姓家 网络技术的发展使云计算成为了网络技术的发展使云计算成为了“合合”的模式，计算和的模式，计算和存储通过网络隐形于云端：存储通过网络隐形于云端：

39、大象无形大象无形云计算体系结构云计算体系结构 云计算的基本原理是通过使计算分布在大量的云计算的基本原理是通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将更与互联网相似。器中，企业数据中心的运行将更与互联网相似。这使得企业能够将资源切换到需要的应用上，这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。根据需求访问计算机和存储系统。云计算发展路线云计算发展路线并行计算集群计算网格计算云计算l在动态、多在动态、多机构参与的虚机构参与的虚拟组织中协同拟组织中协同共享资源和求共享资源和求解问题解问题 l同

40、时使用同时使用多种计算资多种计算资源解决计算源解决计算问题的过程问题的过程 l将需要巨大将需要巨大计算能力的计算能力的问题分成许问题分成许多小部分进多小部分进行处理，最行处理，最后综合结果后综合结果分布式计算分布式计算 并行计算网格计算网格计算 云计算云计算特点超大规模超大规模 虚拟化虚拟化高可靠性高可靠性 通用性通用性 高可伸缩性高可伸缩性 按需服务按需服务 极其廉价极其廉价 超大规模超大规模 虚拟化虚拟化高可靠性高可靠性 通用性通用性 高可伸缩性高可伸缩性 按需服务按需服务 极其廉价极其廉价 云计算技术体系结构云计算与大数据云计算与大数据 大数据虽然不是云计算，但却是云计算的灵魂和升大数据

41、虽然不是云计算，但却是云计算的灵魂和升级方向。级方向。云计算的核心是业务模式，本质是数据处理技术。云计算的核心是业务模式，本质是数据处理技术。数据是资产，云为数据资产提供了保管、访问的场数据是资产，云为数据资产提供了保管、访问的场所和渠道。所和渠道。如何盘活数据资产，使其为国家治理、企业决策乃如何盘活数据资产，使其为国家治理、企业决策乃至个人生活服务，是大数据的核心议题，也是云计至个人生活服务，是大数据的核心议题，也是云计算内在的灵魂和必然的升级方向。算内在的灵魂和必然的升级方向。云计算与大数据云计算与大数据 本质上，云计算与大数据的关系是本质上，云计算与大数据的关系是“静静”与与“动的动的关

42、系；关系；云计算强调的是计算，这是动的概念；云计算强调的是计算，这是动的概念；而数据则是计算的对象，是静的概念。而数据则是计算的对象，是静的概念。如果结合实际的应用，前者强调的是计算能力，或如果结合实际的应用，前者强调的是计算能力，或者看重的存储能力；者看重的存储能力；云计算与大数据云计算与大数据 但是这样说，并不意味着两个概念就如此泾渭分明。但是这样说，并不意味着两个概念就如此泾渭分明。一方面，大数据需要处理大数据的能力一方面，大数据需要处理大数据的能力(数据获取、数据获取、清洁、转换、统计等能力清洁、转换、统计等能力)，其实就是强大的计算能，其实就是强大的计算能力；力；另一方面，云计算的另

43、一方面，云计算的“动动”也是相对而言，比如基础也是相对而言，比如基础设施即服务设施即服务(IaaS)中的存储设备提供的主要是数据存中的存储设备提供的主要是数据存储能力，所以可谓是动中有静。储能力，所以可谓是动中有静。云计算与大数据云计算与大数据 如果数据是财富，那么大数据就是宝藏，如果数据是财富，那么大数据就是宝藏，而云计算就是挖掘和利用宝藏的利器！而云计算就是挖掘和利用宝藏的利器！没有强大的计算能力，数据宝藏终究是镜没有强大的计算能力，数据宝藏终究是镜中花；中花；没有大数据的积淀，云计算也只能是杀鸡没有大数据的积淀，云计算也只能是杀鸡用的宰牛刀！用的宰牛刀！大数据比云计算更为落地大数据比云计

44、算更为落地商业模式驱动应用需求驱动云计算本身也是大数据的一种业务模式大数据与云数据管理大数据与云数据管理 大数据大数据 云计算云计算 云数据管理云数据管理 什么是云数据管理？什么是云数据管理？云数据管理是指通过集群应用、网格技术或分布云数据管理是指通过集群应用、网格技术或分布式文件系统等，将网络中大量各种不同类型的存式文件系统等，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。外提供数据存储和业务访问功能的一个系统。云数据管理的基础是云存储，其核心是以云数据管理的基础是云存储，其核心是以No

45、 SQL(New SQL)为代表的新一代云数据存储为代表的新一代云数据存储(库库)系统。系统。云数据管理的背景云数据管理的背景 随着云计算中大数据集高效管理、海量数据中特随着云计算中大数据集高效管理、海量数据中特定数据的快速定位、云端海量数据精准查询等迫定数据的快速定位、云端海量数据精准查询等迫切需求的日益显现切需求的日益显现,Web数据管理正逐步向云数据数据管理正逐步向云数据管理阶段发展管理阶段发展,一个新的云数据管理研究领域正逐一个新的云数据管理研究领域正逐渐形成。渐形成。云数据管理的背景云数据管理的背景 云数据管理在云计算概念上延伸和发展出来的一云数据管理在云计算概念上延伸和发展出来的一

46、个新的概念。个新的概念。云数据管理使更大数据量的处理成为可能，被称云数据管理使更大数据量的处理成为可能，被称为下一代的因特网计算和下一代的数据中心。为下一代的因特网计算和下一代的数据中心。Web应用作为推动云计算发展的主力，正快速的应用作为推动云计算发展的主力，正快速的普及成熟起来，它需要能够按需进行扩展，企业普及成熟起来，它需要能够按需进行扩展，企业都希望他们的都希望他们的Web应用系统能够应对不断增长的应用系统能够应对不断增长的用户量和数据量，以及适应用户和其它开发人员用户量和数据量，以及适应用户和其它开发人员对对WEB应用系统的高吞吐量和低响应时间的要求应用系统的高吞吐量和低响应时间的要

47、求。云数据管理的背景云数据管理的背景 通过云计算技术，网络服务提供者可以在数秒之通过云计算技术，网络服务提供者可以在数秒之内，处理数以千万计甚至亿计的信息，达到和内，处理数以千万计甚至亿计的信息，达到和“超级计算机超级计算机”同样强大的网络服务。同样强大的网络服务。系统必须以低延迟的响应速度系统必须以低延迟的响应速度(几十毫秒几十毫秒)、高吞吐、高吞吐量量(每秒上万的读写每秒上万的读写)为世界范围内的用户请求提供为世界范围内的用户请求提供服务。服务。并且，应用必须具备高可用性，长期维持最小的并且，应用必须具备高可用性，长期维持最小的运维成本。运维成本。但是，如果但是，如果WEB应用系统仍然依赖

48、传统的关系应用系统仍然依赖传统的关系(SQL)数据库系统，我们会发现数据存储将成为最数据库系统，我们会发现数据存储将成为最大的瓶颈。大的瓶颈。云数据管理的背景云数据管理的背景 幸运的是我们已不再需要提供完整的事务幸运的是我们已不再需要提供完整的事务(ACID)支持，单独的系统也可以执行复杂的分析任务，支持，单独的系统也可以执行复杂的分析任务，比如像比如像Hadoop这样的这样的map-reduce平台。平台。对于许多应用程序来说，它们处理的请求相比传对于许多应用程序来说，它们处理的请求相比传统数据管理更为简单。统数据管理更为简单。数据可能是用户的会话数据，用户在网页上所有数据可能是用户的会话数

49、据，用户在网页上所有的行为只涉及单条记录的读写。的行为只涉及单条记录的读写。应用也有可能是社交化的，对于社交活动可能会应用也有可能是社交化的，对于社交活动可能会被写入单条的用户记录，而用户的朋友们的活动被写入单条的用户记录，而用户的朋友们的活动需要从少量的其他用户记录中读取。需要从少量的其他用户记录中读取。云数据管理的背景云数据管理的背景 这些挑战推动了新一代数据存储管理系统的发展，这些挑战推动了新一代数据存储管理系统的发展，该系统基于大型该系统基于大型(可能包括成千上万台机器的集群可能包括成千上万台机器的集群)分布式架构。分布式架构。为了容错，所有数据会在数据中心内被复制。为了容错，所有数据

50、会在数据中心内被复制。甚至有些数据为了保证低延迟读取，需要横跨多甚至有些数据为了保证低延迟读取，需要横跨多个数据中心进行地域性复制。个数据中心进行地域性复制。为了满足构建多租户为了满足构建多租户(multi-tenanted)模式的需要，模式的需要，大型分布式架构能够根据自身需求扩大容量，并大型分布式架构能够根据自身需求扩大容量，并且多个应用的托管系统可以共享底层的资源。且多个应用的托管系统可以共享底层的资源。传统关系型数据库的限制传统关系型数据库的限制l扩展困难扩展困难：由于存在类似Join这样多表查询机制，使得数据库在扩展方面很艰难；l读写速度慢：读写速度慢：这种情况主要发生在数据量达到一