1、第第8章章 大大数据数据和云计算技术简介和云计算技术简介8.1 大数据的大数据的概念概念8.2 云计算的基本概念云计算的基本概念8.3 大数据和云计算融合大数据和云计算融合的必然趋势的必然趋势8.1 大数据大数据的的概念概念 大数据(big data)是指所涉及的资料量规模巨大，无法在规定时间内通过常规软件工具对其内容进行撷取、管理和处理的数据集合。大数据需要满足“4V”特征，即数据量大数据量大(Volume)、数据的种类多数据的种类多(Variety)、数据的增长及处理速度数据的增长及处理速度快快(Velocity)、数据蕴藏价值大数据蕴藏价值大(Value)这4个根本特征，才能称之为大数据
2、。数据量大数据量大(Volume)数据的采集、存储和计算的量都非常大，大数据通常指10 TB以上规模的数据量。造成数据量增大的原因有很多，例如，监控和传感设备的使用，使我们感知到更多的事务，这些事务的数据将被部分或者完全存储；(移动)通信设备的使用，使得交流的数据量成倍增长；基于互联网和社会化网络的应用的发展，数以亿计的用户每天产生大量的数据。大数据是不断增长的，没有限定的，今天的数据可能比昨天大，明天的数据可能比今天大。尽管太字节(TB，1012 B)、拍字节(PB，1015 B)、艾字节(EB，1018 B)、泽字节(ZB，1021 B)、尧字节(YB，1024 B)级的数据很大，但仍不是
3、大数据。其实，大量是客观存在的，只不过以前我们无法将其充分利用。数据种类多数据种类多(Variety)数据的种类和来源较多，例如多种传感器、智能设备、社交网络等。数据的种类包括结构化、半结构化和非结构化数据，包括图片、音频、视频、地理位置等多类型的数据。数据种类多实际上就是具有多个时段(历史的、现在的)、多种媒体、多个来源、异构(结构化、半结构化、非结构化)的数据。数据的增长及处理速度快数据的增长及处理速度快(Velocity)数据每分每秒都在爆炸性地增长，而对数据的处理速度要求也很高，数据的快速动态的变化使得流式数据成为大数据的重要特征，对大数据的处理要求具有较强的时效性，能够实时地查询、分
4、析、推荐等。数据蕴藏价值大数据蕴藏价值大(Value)在海量的数据中，存在着巨大的被挖掘的商业价值，然而由于数据总量的不断增加，数据的单位价值密度却相对较低，如何通过强大的数据挖掘算法，结合企业的业务逻辑来从海量数据中获取有用的价值是大数据要解决的重要问题。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键就在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。除了上述的4个主要特征外，大数据与传统的数据处理技术最明显的一个区别是，大数据要求在线处理。例如，用户在使用某一网站或应用时，需要
5、及时地把用户行为数据传送给企业，通过相应的数据处理或数据挖掘算法，分析出用户的行为特征，并根据处理结果对用户进行精准的内容推荐或行为预测，在提升用户体验的同时，增加用户黏度，为企业带来更多的商业价值。而离线的数据处理，则不能满足这一需求，在线实时处理也是大数据发展的重要趋势和特点。大数据的总体架构包括三层，即数据存储，数据处理和数据分析。类型复杂和海量由数据存储层解决，快速和时效性要求由数据处理层解决，价值由数据分析层解决。(1)数据存储层数据存储层。数据有很多分法，有结构化、半结构化、非结构化，也有元数据、主数据、业务数据，还可以分为GIS、视频、文件、语音、业务交易类各种数据。传统的结构化
6、数据库已经无法满足数据多样性的存储要求，因此在RDBMS基础上增加了两种类型，一种是hdfs，可以直接应用于非结构化文件存储；一种是NoSQL类数据库，可以应用于结构化和半结构化数据存储。从存储层的搭建来说，关系型数据库，NoSQL数据库和hdfs分布式文件系统三种存储方式都需要。业务应用根据实际的情况选择不同的存储模式，但是为了业务的存储和读取方便性，我们可以对存储层进一步封装，形成一个统一的共享存储服务层，简化这种操作。用户并不关心底层存储细节，只关心数据的存储和读取的方便性，通过共享数据存储层可以实现在存储上的应用和存储基础设置的彻底解耦。(2)数据处理层数据处理层。数据处理层解决的核心
7、问题在于出现分布式后存储方式带来的数据处理上的复杂度，海量数据存储带来了数据处理上的时效性要求。在传统的云相关技术架构上，可以将hive、pig和hadoop-mapreduce框架相关的技术内容全部划入到数据处理层的能力。mapreduce只是实现了一个分布式计算的框架和逻辑，而真正的分析需求的拆分、分析结果的汇总和合并还是需要hive层的能力整合。最终的目的很简单，即支持分布式架构下的时效性要求。(3)数据分析层数据分析层。数据分析层的重点是挖掘大数据的真正价值所在，而价值的挖掘核心又在于数据分析和挖掘。那么数据分析层的核心仍然在于传统的BI分析的内容，包括数据的维度分析、数据的切片、数据
8、的上钻和下钻、cube等。数据分析只关注两个内容，首先是传统数据仓库下的数据建模，在该数据模型下需要支持上面各种分析方法和分析策略；其次是根据业务目标和业务需求建立的KPI指标体系，对应指标体系的分析模型和分析方法，解决了这两个问题就基本解决了数据分析的问题。传统的BI分析通过抽取和集中化大量的ETL数据，形成一个完整的数据仓库，而基于大数据的BI分析，可能并没有一个集中化的数据仓库，或者数据仓库本身也是分布式的，BI分析的基本方法和思路并没有变化，但是数据存储和数据处理方法却发生了大变化。从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，
9、必须采用分布式计算架构。它的特色在于对海量数据的挖掘，但它必须依托云计算的分布式处理、分布式数据库、云存储和/或虚拟化技术。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。大数据最核心的价值就是在于对海量数据进行存储和分析。相比现有的其他技术而言，大数据具有廉价廉价、迅速迅速、优优化化三大特点。8.1.1 大数据处理分析的六大工具大数据处理分析的六大工具 大数据分析就是在研究和分析大量的数据过程中，寻找模式相关性和其他有用的信息，帮助企业更好地适应变化，并做出更明智的决策。1.Hadoop Hadoop是一个能够对
10、大量数据进行分布式处理的软件框架。它是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本；Hadoop是高效的，因为它以并行的方式工作，通过并行处理加快处理速度；Hadoop还是可伸缩的，能够处理PB级数据。此外，Hadoop依赖于社区服务器，因此它的成本比较低，任何人都可以使用。Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点优点：高可靠性高可靠性Hadoop按位存储和处理数据的能力值得人们信赖按位存储和处理数据的能力值得人们
11、信赖。高扩展性Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。高效性Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。容错性Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。Hadoop带有用Java语言编写的框架，因此非常适于运行在Linux生产平台上。Hadoop上的应用程序也可以使用其他语言编写，比如C+。2.HPCC 高性能计算与通信(High Performance Computing and Communications，HPCC)是1993年由美国科学、工程、技术联
12、邦协调理事会向国会提交的“重大挑战项目：高性能计算与通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国实施信息高速公路而实施的计划，该计划的实施将耗资百亿美元，其主要目标是：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆比特网络技术，扩展研究和教育机构及网络连接能力。该项目主要由五部分组成：(1)高性能计算机系统高性能计算机系统(HPCS)，内容包括今后几代计算机系统的研究、系统设计工具、先进的典型系统及原有系统的评价等；(2)先进软件技术与算法先进软件技术与算法(ASTA)，内容
13、包括巨大挑战问题的软件支撑、新算法设计、软件分支与工具、计算及高性能计算研究中心等；(3)国家科研与教育网络国家科研与教育网络(NREN)，内容包括中接站及10亿位级传输的研究与开发；(4)基本研究与人类资源基本研究与人类资源(BRHR)，内容包括基础研究、培训和课程教材，通过长期的调查，在可升级的高性能计算中来增加被调查人员的创新意识流，通过高性能的计算训练和通信，增加人员之间的联络，以此来支持调查和研究活动；(5)信息基础结构技术和应用信息基础结构技术和应用(IITA)，目的在于保证美国在先进信息技术开发方面的领先地位。3.Storm Storm是自由的开源软件，一个分布式的、容错的实时计
14、算系统，用于处理Hadoop的批量数据且非常可靠。Storm很简单，支持许多种编程语言，使用起来非常有趣，且易于配置及使用。Storm由Twitter开源而来，其他知名的应用企业包括Groupon、淘宝、支付宝、阿里巴巴、乐元素、Admaster等等。Storm有许多应用领域：实时分析、在线机器学习、不停顿的计算、分布式RPC(远程调用协议，一种通过网络从远程计算机程序上请求服务)、ETL(Extraction-Transformation-Loading，即数据抽取、转换和加载)等等。Storm的处理速度惊人，经测试，每个节点每秒钟可以处理100万个数据元组。4.Apache Drill 为
15、了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会发起了一项名为Drill的开源项目。Apache Drill实现了Googles Dremel。据Hadoop厂商MapR Technologies公司产品经理Tomer Shiran介绍，Drill已经作为Apache孵化器的项目来运作，将面向全球软件工程师持续推广。该项目将会创建出开源版本的谷歌Dremel Hadoop工具(谷歌使用该工具来为Hadoop数据分析工具的互联网应用提速)。而Drill将有助于Hadoop用户更快地查询海量数据集。Drill项目其实也是从谷歌的Dremel项目中获得的灵感：该项目
16、帮助谷歌实现海量数据集的分析处理，包括分析抓取Web文档、跟踪安装在Android Market上的应用程序数据、分析垃圾邮件、分析谷歌分布式构建系统上的测试结果等等。通过开发Drill Apache开源项目，组织机构将有望建立Drill所属的API接口和灵活强大的体系架构，从而帮助支持广泛的数据源、数据格式和查询语言。5.Rapid Miner Rapid Miner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它的数据挖掘任务涉及广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。Rapid Miner的功能和特点有：免费提供数据挖掘技术和库；100%用Java代码(
17、可运行在操作系统上)编写；数据挖掘过程简单，强大且直观；内部XML保证了以标准化的格式来表示交换数据挖掘过程；可以用简单脚本语言自动执行大规模进程；具有多层次的数据视图，确保了有效和透明的数据；具有图形用户界面的互动原型；命令行(批处理模式)自动大规模应用；具有Java API(应用编程接口)；拥有简单的插件和推广机制；具有强大的可视化引擎，许多尖端的高维数据的可视化建模；400多个数据挖掘运营商支持。耶鲁大学已成功地在许多不同的应用领域使用Rapid Miner，包括文本挖掘、多媒体挖掘、功能设计、数据流挖掘、集成开发的方法和分布式数据挖掘。6.Pentaho BI Pentaho BI 平
18、台不同于传统的BI产品，它是一个以流程为中心的，面向解决方案(Solution)的框架。其目的在于将一系列企业级BI产品、开源软件、API等组件集成起来，方便商务智能应用的开发。它的出现使得一系列面向商务智能的独立产品(如Jfree、Quartz等等)能够集成在一起，构成一项项复杂的、完整的商务智能解决方案。Pentaho Open BI套件的核心架构和基础，是以流程为中心的，因为其中枢控制器是一个工作流引擎。工作流引擎使用流程定义来定义在BI平台上执行的商业智能流程。流程可以很容易地被定义，也可以添加新的流程。BI平台包含组件和报表，用以分析这些流程的性能。目前，Pentaho的主要组成元素
19、包括报表生成、分析、数据挖掘和工作流管理等。这些组件通过J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技术集成到Pentaho平台中来。Pentaho主要以Pentaho SDK的形式发行。Pentaho SDK共包含五个部分：Pentaho平台、Pentaho示例数据库、可独立运行的Pentaho平台、Pentaho解决方案示例和一个预先配制好的 Pentaho网络服务器。其中Pentaho平台是Pentaho最主要的部分，囊括了Pentaho平台源代码的主体；Pentaho数据库为Pentaho平台的正常运行提供数据服务，包括配置信息、
20、Solution相关的信息等，对于Pentaho平台来说，它不是必需的，通过配置是可以用其他数据库服务取代的；可独立运行的Pentaho平台是Pentaho平台的独立运行模式的示例，它演示了如何使Pentaho平台在没有应用服务器支持的情况下独立运行；Pentaho解决方案示例是一个Eclipse工程，用来演示如何为Pentaho平台开发相关的商业智能解决方案。Pentaho BI平台构建于服务器、引擎和组件的基础之上，包括J2EE服务器、安全与权限控制、portal、工作流、规则引擎、图表、协作、内容管理、数据集成、多维分析和系统建模功能。这些组件的大部分是基于标准的，可使用其他产品替换。8
21、.1.2 大数据在我国的未来之路大数据在我国的未来之路1.大数据的基本特点大数据的基本特点 (1)数据体量巨大数据体量巨大。从TB级别，跃升到PB级别。(2)数据类型繁多数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。(3)价值密度低价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。(4)处理速度快处理速度快。1秒定律。最后这一点也和传统的数据挖掘技术有着本质的不同。2.我国大数据的变革之路我国大数据的变革之路 国务院发布的促进大数据发展行动纲要(以下简称“纲要”)将大数据发展确立为国家战略。党的十八届五中全会明确提出，实施“互联网+”行动计划，发展
22、分享经济，实施国家大数据战略。大力发展工业大数据和新兴产业大数据，利用大数据推动信息化和工业化深度融合，从而推动制造业网络化和智能化，正成为工业领域的发展热点。明确工业是大数据的主体，工业大数据的价值正是在于其为产业链提供了有价值的服务，提升了工业生产的附加值。工业大数据的最终作用是为工业的发展、为工业企业的转型升级提供有价值的服务。要顺利实现中国制造2025的目标，中国工业企业必须做好两件事：“顶天”掌握高端装备行业的工业数据，在高端制造领域完全实现中国智造；“立地”掌握中国制造行业的工业大数据，通过运用工业大数据，提升中国制造企业的效益，实现节能降耗，进一步提升中国制造产品质量。为了确保“
23、顶天立地”目标的实现，必须狠抓人才、知识、工具三方面工作。目前，美国在信息物理系统方面尚缺乏大约19万名工程师，而中国的人才缺口更大；此外，大数据知识开放和工具升级也很迫切。8.2 云云计算的基本概念计算的基本概念 云计算(Cloud Computing)是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网那个的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。狭义云计算指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以
24、按需、易扩展的方式获得所需服务，这种服务可以是IT和软件、互联网相关，也可是其他服务。它意味着计算能力也可作为一种商品通过互联网进行流通。可以概括地说：“云计算是通过网络提供可伸缩的廉价的分布式计算能力。”云计算是一个新名词，却不是一个新概念。云计算这个概念从互联网诞生以来就一直存在。很久以前，人们就开始购买服务器存储空间，然后把文件上传到服务器存储空间里保存，需要的时候再从服务器存储空间里把文件下载下来。这和 Dropbox或百度云的模式没有本质上的区别，它们只是简化了这一系列操作而已。云计算是世界各大搜索引擎及浏览器数据收集、处理的核心计算方式。推动着网络数据时代进入更加人性化的历史阶段。
25、云计算是商业化的超大规模分布式计算技术。即用户可以通过已有的网络将所需要的庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的更庞大的系统，经搜寻、计算、分析之后将处理的结果回传给用户。最简单的云计算技术在网络服务中已经随处可见并为我们所熟知，比如搜寻引擎、网络信箱等，使用者只要输入简单指令即可获得大量信息。而在未来的云计算的服务中，云计算就不仅仅是只做资料搜寻工作，还可以为用户提供各种计算技术、数据分析等服务。透过云计算，人们利用手边的PC和网络就可以在数秒之内处理数以千万计甚至亿计的信息，得到和超级计算机同样强大的网络服务，获得更多、更复杂的信息计算的帮助，比如分析DN
26、A的结构、基因图谱排序、解析癌症细胞等。就普通百姓常用而言，在云计算下，未来的手机、GPS等行动装置都可以发展出花样翻新、目不暇接的各色应用服务。8.2.1 广义的云计算和狭义的云计算广义的云计算和狭义的云计算 狭义的云计算是指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需的资源(硬件、平台、软件)。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取、按需使用、随时扩展、按使用付费。这种特性经常被称为像水电一样使用IT基础设施。广义的云计算是指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需的服务。这种服务可以是IT和软件
27、、互联网相关的，也可以是任意其他的服务。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。1.主要特点主要特点 通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将与互联网那个更相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通，就像煤气、水电一样取用方便、费用低廉，最大的不同在于它是通过互联网进行传输的。核
28、心观点：2016年板块的核心驱动力将下沉为技术革新，从人脸识别到人工智能、虚拟现实到量子通信，创新的技术将进一步深化商业模式的变革。易拓云指出云计算是技术驱动的核心，是商业模式变革的基础。云计算的IT架构变革使得“互联网+”、大数据战略蓬勃发展，庞大的计算能力使得深度学习、人工智能商业化进程加速。云计算是板块技术驱动的核心，其基础设施建设在未来35年内将维持高景气度；同时云计算所实现的应用线上化、数据资产化、服务生态化，也将成为商业模式变革的基础。2.云计算的发展云计算的发展 折叠云计算的好处是：(1)安全安全，云计算提供了最可靠、最安全的数据存储中心，用户不用再担心数据丢失、病毒入侵等麻烦。
29、(2)方便方便，它对用户端的设备要求最低，使用起来很方便。(3)数据共享数据共享，它可以轻松实现不同设备间的数据与应用共享。(4)无限可能无限可能，它为我们使用网络提供了几乎无限多的可能。在我国，云计算发展非常迅猛。在前瞻网20152020年中国云计算产业发展前景与投资战略规划分析报告前瞻中有相关内容：2008年5月10日，IBM在中国无锡太湖新城科教产业园建立的中国第一个云计算中心投入运营；2008年6月24日，IBM在北京IBM中国创新中心成立了第二家中国的云计算中心IBM大中华区云计算中心；2008年11月28日，广东电子工业研究院与东莞松山湖科技产业园管委会签约，广东电子工业研究院将在
30、东莞松山湖投资2亿元建立云计算平台；2008年12月30日，阿里巴巴集团旗下子公司阿里软件与江苏省南京市政府正式签订了2009年战略合作框架协议，计划于2009年初在南京建立国内首个“电子商务云计算中心”，首期投资额将达上亿元人民币；世纪互联推出了CloudEx产品线，包括完整的互联网服务“Cloud Ex Computing Service”，基于在线存储虚拟化的“Cloud Ex Storage Service”，供个人及企业进行互联网云端备份的数据保全服务等系列互联网云计算服务；中国移动研究院做云计算的探索起步较早，已经完成了云计算中心试验。中国云科技发展“十二五”专项规划明确提出，到“
31、十二五”末期，在云计算的重大设备、核心软件、支撑平台等方面突破一批关键技术，形成自主可控的云计算系统解决方案、技术体系和标准规范，在若干重点区域、行业中开展典型应用示范，实现云计算产品与服务的产业化，积极推动服务模式创新，培养创新型科技人才，构建技术创新体系，引领云计算产业的深入发展，使我国云计算技术与应用达到国际先进水平。预计随着国家的扶持以及企业投入力度的进一步加大，中国云计算从概念到大规模应用将指日可待。8.2.2 云计算的工具与服务云计算的工具与服务1.云计算的十大工具云计算的十大工具 (1)Cloudability。工具类型为云成本分析。(2)S3生命周期追踪器、EC2预留探测器、R
32、DS预留探测器。工具类型为云优化。(3)AtomSphere。工具类型为云集成。(4)Enstratius。工具类型为云基础设施管理。(5)Informatica Cloud 2013春季版。工具类型为云数据集成。(6)Cloud Hub。工具类型为云集成服务。(7)Chef。工具类型为云配置管理。(8)Puppet。工具类型为云配置管理。(9)Right Scale Cloud Management。工具类型为云管理。(10)Agility Platform。工具类型为企业云管理。2.几种几种云计算云计算服务服务1)IaaS：基础设施即服务 IaaS(Infrastructure as a
33、Service)：基础设施即服务。消费者通过Internet可以从完善的计算机基础设施中获得服务。IaaS为客户提供处理能力、存储能力、网络和其他基本计算资源，客户可以使用这些资源部署或运行他们自己的软件，如操作系统或应用程序。客户无法管理和控制底层云基础设施，但可以控制操作系统，存储和部署应用程序，或拥有有限的网络组件控制权。2)PaaS：平台即服务：平台即服务 PaaS(Platform as a Service)：平台即服务。PaaS实际上是指将软件研发的平台作为一种服务，以SaaS的模式提交给用户。因此，PaaS也是SaaS模式的一种应用。但是，PaaS的出现可以加快SaaS的发展，尤
34、其是加快SaaS应用的开发速度。PaaS改变了传统的应用交付模式，促进了分工的进一步专业化，解耦了开发团队和运维团队，将极大地提高未来软件交付的效率。3)SaaS：软件即服务：软件即服务 SaaS(Software as a Service)：软件即服务。它是一种通过Internet提供软件的模式，用户无需购买软件，而是向提供商租用基于Web的软件，来管理企业经营活动。8.2.3 云计算的前景云计算的前景1云建站云建站 云建站是随着云计算技术成熟兴起的一种新型整合式技术平台，面对有初级建站经验基础的人员或美工，通常采用知名的Iaas提供商服务作为基础设施提供网络设备；同时提供云端开发平台，开发
35、者在平台中编写网站模板代码，运行在浏览器中的开发器提供代码高亮、代码智能感知、数据接口等本地开发中也经常用到的辅助开发功能。与传统开发模式不同的是，模板开发完成后不需要将代码上传到FTP虚拟空间，因为整套系统与云基础设施相连，代码可直接无缝提交到云主机上，只要将域名解析到云主机即可上线，为开发者节省了大量开发环境部署、服务器搭建、代码上传的时间。云建站是一种提供代码级别的定制性，以云计算为基础设施，低投入、高品质、省时、省心的新型建站方式。目前，国内较知名的云建站服务提供商有阿里云、乐云平台、万网。云建站平台是集开发环境、分布式文件存取、服务器部署等于一体的云端Web开发平台。平台通过非常简单
36、易学的模板语言允许开发者对网站进行100%的前端样式定制设计，底层架构和基础设施提供防火墙、缓存、负载均衡、故障转移、CDN文件I/O等来保障网站安全性、高性能、高可用。通常云建站在开发时是完全免费的，只有在正式上线时才会收费。网站创建时系统将分配免费的二级域名绑定到开发网站，在绑定正式域名之前网站可以通过该二级域名在互联网上被访问到。开发者可以通过开发平台对网站的所有页面，模板源代码，图片添加、编辑和删除等开发定制操作。开发平台中提供完善的代码高亮支持，常用前端类库等大大降低开发者对平台和模板语言的学习成本。随着语法智能提示、可拖拽设计的控件库、在线图片处理等辅助开发工具的推出，可实现Web
37、的快速开发，进一步将Web开发成本大大降低。因此，云建站平台中开发流程与主流开发方式差不多，但是所有步骤不是在开发者本地完成，而是在云端完成。开发者可以从模板库中直接套用现成模板建站，之后在模板基础上进行二次开发满足定制化需求；也可以只创建空网站，自行定制开发页面。2云物联云物联 “物联网就是物物相连的互联网”。这有两层意思：第一，物联网的核心和基础仍然是互联网，是在互联网基础上延伸和扩展的网络；第二，其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信。物联网的两种业务模式：MAI(M2M Application Integration)，内部MaaS；MaaS(M2M As A S
38、ervice)，MMO，Multi-Tenants(多租户模型)。随着物联网业务量的增加，对数据存储和计算量的需求将带来对“云计算”能力的要求：云计算：从计算中心到数据中心在物联网的初级阶段，PoP即可满足需求；在物联网高级阶段，可能出现MVNO/MMO营运商(国外已存在多年)，需要虚拟化云计算技术、SOA等技术的结合实现互联网的泛在服务：TaaS(every Thing as a Service)。3云安全云安全 云安全(Cloud Security)是一个从“云计算”演变而来的新名词。云安全的策略构想是：使用者越多，每个使用者就越安全，因为如此庞大的用户群，足以覆盖互联网那个的每个角落，只
39、要某个网站被挂或某个新木马病毒出现，就会立刻被截获。“云安全”通过网状的大量客户端对网络中软件行为的异常进行监测，获取互联网中木马、恶意程序的最新信息，推送到Server端进行自动分析和处理，再把病毒和木马的解决方案分发到每一个客户端。4云存储云存储 云存储是在云计算(Cloud Computing)概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算
40、系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。目前提供云存储业务的国内企业有联想网盘和燕麦企业云盘(OATOS企业网盘)。5云通信云通信 云通信(Cloud Communication)是云计算技术在通信领域的一种推广应用解决方案。云通信技术主要是在对IaaS、PaaS、SaaS等云计算技术应用层次进行分析提取的基础上，将智能云、云存储、云交互、云数据、弹性云计算、云分享等云计算技术应用到传统的通信行业，实现对传统通信技术的革命性改造，让通信技术进入云应用及大数据管理时代。这对于提升用户体验，创造用户满意度有着非常重要的意义。在通信云技术领域，公共云和私有云
41、技术成为两种不同的云应用选择。6云游戏云游戏 云游戏是以云计算为基础的游戏方式，在云游戏的运行模式下，所有游戏都在服务器端运行，并将渲染完毕后的游戏画面压缩后通过网络传送给用户。在客户端，用户的游戏设备不需要任何高端处理器和显卡，只需要基本的视频解压能力就可以了。就现今来说，云游戏还并没有成为家用机和掌机界的联网模式，因为至今X360仍然在使用LIVE，PS是PS NETWORK，wii是Wi-Fi。但是几年后或十几年后，云计算取代这些东西成为其网络发展的终极方向的可能性非常大。如果这种构想能够成为现实，那么主机厂商将变成网络运营商，他们不需要不断投入巨额的新主机研发费用，而只需要拿这笔钱中的
42、很小一部分去升级自己的服务器便能达到相差无几的效果。对于用户来说，他们可以省下购买主机的开支，但是得到的却是顶尖的游戏画面(当然视频输出方面的硬件要求必须过硬)。一台掌机和一台家用机可以拥有同样的画面，家用机和我们今天用的机顶盒一样简单，家用机甚至可以取代电视的机顶盒而成为次时代的电视收看方式。7云教育云教育 视频云计算应用在教育行业的实例：流媒体平台采用分布式架构部署，分为Web服务器、数据库服务器、直播服务器和流服务器，如有必要可在信息中心架设采集工作站，搭建网络电视或实况直播应用，在各个学校已经部署录播系统或直播系统的教室配置流媒体功能组件，这样录播实况可以实时传送到流媒体平台管理中心的
43、全局直播服务器上，与此同时录播的学校特色课件也可以上传存储到教育局信息中心的流存储服务器上，方便今后的检索、点播、评估等各种应用。8云会议云会议 云会议是基于云计算技术的一种高效、便捷、低成本的会议形式。使用者只需要通过互联网界面，进行简单的操作，便可快速、高效地与全球各地团队及客户同步分享语音、数据文件及视频，而会议中数据的传输、处理等复杂技术由云会议服务商帮助使用者进行操作。目前国内云会议主要集中在以SaaS(软件即服务)模式为主体的服务内容，包括电话、网络、视频等服务形式，基于云计算的视频会议就叫云会议。云会议是视频会议与云计算的完美结合，它带来了最便捷的远程会议体验。即时语音移动云电话
44、会议，是云计算技术与移动互联网技术的完美融合，通过移动终端进行简单的操作，可以随时随地高效地召集和管理会议。8.3 大数据和云计算融合的必然趋势大数据和云计算融合的必然趋势8.3.1 大数据发展现状大数据发展现状1.国际发展现状国际发展现状 纽约时报2012年2月的一篇专栏中提到，大数据时代已经降临，在商业、经济及其他领域中，决策将日益取决于数据和分析，而并非基于经验和直觉。2012年3月29日，美国政府启动“Big Data Research and Development Initiative”计划，6个部门拨款2亿美元，争取增加100倍的分析能力从各种语言的文本中抽取信息。这是一个标志性
45、事件，说明继集成电路和互联网之后，大数据已成为信息科技关注的重点。英国政府也宣布投资1.89亿英镑推进大数据和节能计算；法国政府在数字化路线图中列出了五项将会大力支持的战略性高新技术，并将投入1150万欧元进行支持，“大数据”就是其中一项；印度全国软件与服务企业协会预计印度大数据行业规模在3年内将达到12亿美元，政府将积极支持。2013年6月，日本内阁正式公布了新IT战略“创建最尖端IT国家宣言”。宣言全面阐述了20132020年间以发展开放公共数据和大数据为核心的日本新IT国家战略。在2013年7月举办的甲骨文全球大会上，Oracle总裁马克赫德(Mark Hurd)宣布，将加大对中国区的投
46、入，甲骨文在中国的第四个研发中心上海研发中心已经建成，将很快投入使用。此次投入的主攻方向是云计算、大数据、商业智能(BI)。英特尔公司高级副总裁兼数据中心及互联系统事业部总经理柏安娜表示，英特尔未来将会大力发展数据中心领域的芯片技术。至此全球掀起了一股大数据的浪潮。大数据是继云计算、物联网之后ICT产业界又一次颠覆性的技术变革。根据IDC研究显示，全球数据量大约每两年翻一番，到2020年将达35 ZB，如果把35 ZB的数据全部刻录到容量为9 GB的光盘上，其叠加的高度将达到233万公里，相当于在地球与月球之间往返三次。大数据时代的来临使人类第一次有机会和条件，在非常多的领域和非常深入的层次获
47、得和使用全面的数据、完整的数据和系统的数据，深入探索现实世界的规律，获取过去不可能获取的知识，得到过去无法企及的商机。这将对我们的社会和生活产生莫大的影响。就当下而言，大数据已经不再只是纸上谈兵，已经渐渐渗入我们的生活，而且大数据产业已成为全球高科技产业竞争的前沿领域，以美国、日本、欧洲为代表的全球发达国家正在展开以大数据为核心的新一轮信息战略。2.国内发展趋势国内发展趋势 国内大数据紧跟其后，形势逐渐升温。国内大数据市场规模在迅速扩展，2013年被业界誉为中国的大数据元年。中国有着庞大的人群和应用市场，复杂性高，充满变化，如此庞大的用户群体，构成了世界上最为庞杂、最为繁复的数据。解决这种由大
48、规模数据引起的问题，探索以大数据为基础的解决方案，是中国产业升级、效率提高的重要手段。2012年中国大数据的产值达到120亿美元。随着从事数据的机构和相关企业的增多，今后国内数据采集成本也会降低。比如，基因数据库分析的相关数据，5年前用100万美元才可以买到，现在只要1000美元就足够了。整体来看，如果说美国宣称自己尚处于大数据开发的初级阶段的话，那么中国的大数据则处于雏形阶段。目前来说，我国的大数据开发以及应用还仅仅局限在商业领域中，尤其以百度、阿里巴巴、腾讯、新浪等互联网公司为代表。他们可以利用多年来积累的数据优势进行自主开发。制造业的代表海尔集团这两年也在强调大数据的应用，快速感知并响应
49、客户需求。2013年上海公布的“汇计划”指出，今后3年的具体目标之一是开发一批具有产业核心竞争力的大数据软件产品；2013年4月底，阿里巴巴以5.86亿美元入股新浪，声称“双方将在用户账户互通、数据交换、在线支付、网络营销等领域进行深入合作，并探索基于数亿的用户与阿里巴巴电子商务平台的数亿消费者有效互动的社会化电子商务模式”。在视频领域，收购了PPS的爱奇艺也在布局大数据。在社交领域，腾讯朋友网可以说是一个比较成功的案例。2013年以来，可以发现大数据概念股逆市上扬，累计涨幅达47.8%。根据行业分类细分，大数据主要涉及七大领域，包括数据处理和分析环节及综合处理、语音识别、视频识别、商业智能软
50、件、数据中心建设与维护、IT咨询和方案实施、信息安全，这些领域将共享高成长盛宴。实际上，各行业对大数据也有着现实的需求：中国工商银行拥有2.2亿用户和6亿个账户，每日处理多达2亿个交易；中国石油集中统一信息系统管理8600万吨/年的成品油销售业务，年处理单据3450万张；中国航信目前运行着超过2000台硬件设备，每秒钟事务处理能力为11000 TNX/s，每天为100万旅客提供订票离港服务；阿里巴巴集团拥有的数据达到30 PB(1 PB=1106 GB)，规模全球领先。数据已成为与自然资源、人力资源一样重要的战略资源，隐含巨大的价值，已引起科技界和企业界的高度重视。如果我们能够有效地组织和使用
