大数据及其现实应用课件.ppt

1、路漫漫其悠远路漫漫其悠远2022-5-18大数据及其现实应用课大数据及其现实应用课件件路漫漫其悠远路漫漫其悠远开放作业题目开放作业题目 结合自己的专业特点，写一篇大数据应用论文！结合自己的专业特点，写一篇大数据应用论文！ 要求：要求：找准大数据在本专业的一个具体应用点进行展开，将自己设定为某公司的首席数据运营官，用大数据的思维帮助企业提高数据应用能力和业务分析水平。路漫漫其悠远路漫漫其悠远路漫漫其悠远路漫漫其悠远讨论大数据的时点上市时间上市时间公司公司创新创新时代时代鼎盛期鼎盛期1996雅虎网页聚合WEB1.08年2004谷歌主题词聚合WEB1.58年2012FACEBOOK使用者聚合WEB2

2、.08年？2020？数据聚合？WEB3.0？大数据热反映出人们在猜测追寻下一个大创新路漫漫其悠远路漫漫其悠远内容提示内容提示 认识大数据认识大数据 大数据带来的变革 大数据的商业价值 大数据的运用案例分析路漫漫其悠远路漫漫其悠远迎接大数据时代到来的条件迎接大数据时代到来的条件 硬件成本的降低硬件成本的降低 网络带宽的提升 云计算的兴起 网络技术的发展 智能终端的普及 电子商务、社交网络、电子地图等的全面应用 物联网路漫漫其悠远路漫漫其悠远迎接大数据时代到来的条件迎接大数据时代到来的条件 硬件成本的降低 网络带宽的提升网络带宽的提升 云计算的兴起 网络技术的发展 智能终端的普及 电子商务、社交网

3、络、电子地图等的全面应用 物联网路漫漫其悠远路漫漫其悠远迎接大数据时代到来的条件迎接大数据时代到来的条件 硬件成本的降低 网络带宽的提升 云计算的兴起云计算的兴起 网络技术的发展 智能终端的普及 电子商务、社交网络、电子地图等的全面应用 物联网路漫漫其悠远路漫漫其悠远迎接大数据时代到来的条件迎接大数据时代到来的条件 硬件成本的降低 网络带宽的提升 云计算的兴起 网络技术的发展网络技术的发展 智能终端的普及 电子商务、社交网络、电子地图等的全面应用 物联网路漫漫其悠远路漫漫其悠远迎接大数据时代到来的条件迎接大数据时代到来的条件 硬件成本的降低 网络带宽的提升 云计算的兴起 网络技术的发展 智能终

4、端的普及智能终端的普及 电子商务、社交网络、电子地图等的全面应用 物联网路漫漫其悠远路漫漫其悠远路漫漫其悠远路漫漫其悠远迎接大数据时代到来的条件迎接大数据时代到来的条件 硬件成本的降低 网络带宽的提升 云计算的兴起 网络技术的发展 智能终端的普及 电子商务、社交网络、电子地图等的全面应用电子商务、社交网络、电子地图等的全面应用 物联网路漫漫其悠远路漫漫其悠远迎接大数据时代到来的条件迎接大数据时代到来的条件 硬件成本的降低 网络带宽的提升 云计算的兴起 网络技术的发展 智能终端的普及 电子商务、社交网络、电子地图等的全面应用 物联网物联网路漫漫其悠远路漫漫其悠远如今，我们处在大数据时代路漫漫其悠

5、远路漫漫其悠远当前互联网条件下大数据的典型代表当前互联网条件下大数据的典型代表 1-1-用户行为数据用户行为数据（精准广告投放、内容推荐、行为习惯和喜好分析、产品优化等） 2-2-用户消费数据用户消费数据（精准营销、信用记录分析、活动促销、理财等） 3-3-用户地理位置数据用户地理位置数据（o2o推广，商家推荐，交友推荐等） 4-4-互联网金融数据互联网金融数据（P2P，小额贷款，支付，信用，供应链金融等） 5-5-用户社交数据用户社交数据（趋势分析、流行元素分析、受欢迎程度分析、舆论监控分析、社会问题分析等）路漫漫其悠远路漫漫其悠远路漫漫其悠远路漫漫其悠远拥抱大数据路漫漫其悠远路漫漫其悠远什

6、么是大数据 百度百科百度百科：大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯资讯。 维基百科维基百科：大数据是由数量巨大、结构复杂、类型众多数据构成的数据集合数据集合，是基于云计算的数据处理与应用模式，通过数据的整合共享，交叉复用形成的智力资源智力资源和知识服务知识服务能力。 我的观点我的观点：大数据是由大量异构的数据组成的数据数据集合集合，它是可以应用合理的数学算法或工具从中找出有价值的信息，为人们带来利益的一门新兴学科新兴学科。路漫漫其悠远路漫漫其悠远大数

7、据大数据与传统数据传统数据的区别？小明去了一百次书店小明去了一百次书店 传统数据：要回答的问题是他第一百零一次买不买书，即业绩和经营指标的问题； 大数据：要回答的是他第一百零一次买什么书，需要将什么样的内容推荐给他。群体和个体的区别群体和个体的区别 传统定义上，更多关注的是一类人群，用同一类规则制订套餐给他们； 互联网时代，要把每个人都精准刻画出来，进行精准匹配。路漫漫其悠远路漫漫其悠远大数据大数据与传统数据库传统数据库的区别 大数据是在传统数据库学科的分支数据仓库与数据挖掘的基础上进一步发展起来的。但有两点比较主要的不同： 结构化程度结构化程度 传统数据库传统数据库保存的是结构化或者半结构化

8、的数据，以二维表或者标准XML文件的方式存储数据，由于结构清晰，处理相对容易； 大数据大数据面向的是一切计算机可以存储的数据格式，包括互联网上的各种网页、图片、音频、视频，包括办公文档、报表，包括人们在搜索引擎中输入的关键词、在社交网络中的留言、喜好，也包括各种传感器自动收集的监控结果等等，显然不同的格式处理起来更加困难。 异常数据的处理异常数据的处理 传统数据库传统数据库通常把异常数据先剔除，应用在需要高精确度的领域，如银行对每个账户的管理； 大数据大数据则允许异常数据存在，更多应用在预测方面，找出大量数据中隐藏的关联关系，少量异常数据不会对总体结果产生影响。路漫漫其悠远路漫漫其悠远理解大数

9、据理解大数据路漫漫其悠远路漫漫其悠远路漫漫其悠远路漫漫其悠远大数据 = 海量数据 + 复杂类型的数据大数据包括：交易数据和交互数据集在内的所有数据集大数据的构成大数据的构成海量交易数据：企业内部的经营交易信息主要包括联机交易数据和联机分析数据，是结构化的、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据，我们能了解过去发生了什么。海量交互数据：源于Facebook、Twitter、LinkedIn及其他来源的社交媒体数据构成。它包括了呼叫详细记录CDR、设备和传感器信息、GPS和地理定位映射数据、通过管理文件传输Manage File Transfer协议传送的海量图像文件、Web文

10、本和点击流数据、科学信息、电子邮件等等。可以告诉我们未来会发生什么。海量数据处理：大数据的涌现已经催生出了设计用于数据密集型处理的架构。例如具有开放源码、在商品硬件群中运行的Apache Hadoop。路漫漫其悠远路漫漫其悠远“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。大数据的大数据的4V4V特征特征路漫漫其悠远路漫漫其悠远Value 价值挖掘大数据的价值类似沙里淘金,从海量数据中挖掘稀疏但珍贵的信息.价值密度低价值密度低,是大数据的一个典型特征是大数据的一个典型

11、特征.路漫漫其悠远路漫漫其悠远Variety 多样性企业内部的经营交易信息;物联网世界中商品,物流信息;互联网世界中人与人交互信息,位置信息等是大数据的主要来源. 能够在不同的数据类型中能够在不同的数据类型中, ,进行交叉分析的技术进行交叉分析的技术, ,是大数据的核心技术之一是大数据的核心技术之一. .语义分析技术,图文转换技术,模式识别技术,地理信息技术等,都会在大数据分析时获得应用.Social MediaMachine / SensorDOC / MediaWeb ClickstreamAppsCall LogLog结构化、半结构化、非结构化数据结构化、半结构化、非结构化数据路漫漫其悠

12、远路漫漫其悠远Velocity 速度1s 是临界点.对于大数据应用而言,必须要在1秒钟内形成答案,否则处理结果就是过时和无效的.实时处理的要求实时处理的要求, ,是区别大数据引用和传统数据仓库技术是区别大数据引用和传统数据仓库技术,BI,BI技术的关键差别之一技术的关键差别之一.路漫漫其悠远路漫漫其悠远Volume 数据量 PBPB是大数据層次的临界点是大数据層次的临界点. KB-MB-GB-TB-. KB-MB-GB-TB-PBPB-EB-ZB-YB-NB-DB-EB-ZB-YB-NB-DB路漫漫其悠远路漫漫其悠远大数据的储存与处理大数据的储存与处理/ /运算运算大数据储存大数据储存大数据处

13、理大数据处理数据分享数据分享数据检索数据检索数据分析数据分析数据展现数据展现分布式软件架构并行计算框架分布式存储横向扩容(Scale-out) 架构路漫漫其悠远路漫漫其悠远和大数据相关的技术和大数据相关的技术 大数据必然无法用单台的计算机进行处理，必须采用分布式架构。 对海量数据进行分布式数据挖掘，必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。路漫漫其悠远路漫漫其悠远1.云计算云计算 云计算是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展，是透过网络透过网络将庞大的计算处

14、理程序自动分拆成无数个较小的将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经子程序，再交由多部服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。计算分析之后将处理结果回传给用户。路漫漫其悠远路漫漫其悠远* * *云计算与大数据的区分：云计算与大数据的区分：第一，在概念上在概念上两者有所不同，云计算改变了IT，而大数据则改变了业务。然而大数据必须有云作为基础架构，才能得以顺畅运营。第二，大数据和云计算的目标受众目标受众不同，云计算是CIO等关心的技术层，是一个进阶的IT解决方案。而大数据是CEO关注的、是业务层的产品，而大数据的决策者是业务层。路漫漫其

15、悠远路漫漫其悠远2.2.分布式处理技术分布式处理技术 Hadoop是一个实现了MapReduce模式的能够对大量数据进行分布式处理的软件框架。HDFS: Hadoop分布式文件系统(Distributed File System) MapReduce：并行计算框架HBase: 类似Google BigTable的分布式NoSQL列数据库。Hive：数据仓库工具，由Facebook贡献。Zookeeper：分布式锁设施，提供类似Google Chubby的功能，由Facebook贡献。Avro：新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制。Pig:大数据分析平台，为用户提

16、供多种接口。Ambari：Hadoop管理工具，可以快捷的监控、部署、管理集群。Sqoop：用于在Hadoop与传统的数据库间进行数据的传递 路漫漫其悠远路漫漫其悠远路漫漫其悠远路漫漫其悠远3.3.云存储云存储 云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念，是一种新兴的网络存储技术，是指通过通过集群集群应用、应用、网络技术网络技术或或分布式文件系统分布式文件系统等功能，将网等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供同工作，共同对外提供数据存储数据存储和业务访问功

17、能的一个系统。和业务访问功能的一个系统。路漫漫其悠远路漫漫其悠远淘宝的大数据技术架构路漫漫其悠远路漫漫其悠远路漫漫其悠远路漫漫其悠远路漫漫其悠远路漫漫其悠远参考资料推荐参考资料推荐路漫漫其悠远路漫漫其悠远延深阅读延深阅读150年后，当互联网将这个世界紧密连接起来的时候，新的物种诞生了 。我们称之为生命的信息过程数十亿年前控制了地球的大气层。现在，另一个信息过程科技元素，正在重新征服地球。 最需要读这本书的，应该是打价格战打晕了头，占领市场醒后却发现没有利润的商人；或者是想以数字技术新法取胜，希望像乔布斯那样赢的雄心勃勃的年轻人。 路漫漫其悠远路漫漫其悠远大数据能给我们带来什么？大数据能给我们带

18、来什么？路漫漫其悠远路漫漫其悠远内容提示内容提示 认识大数据 大数据带来的变革大数据带来的变革 大数据的商业价值 大数据的运用案例分析路漫漫其悠远路漫漫其悠远一一. .大数据带来全新的大数据带来全新的生活方式生活方式大数据时代的物联网，带给我们智能家居。大数据时代的物联网，带给我们智能家居。路漫漫其悠远路漫漫其悠远大数据带来全新的大数据带来全新的生活方式生活方式 购物：购物：不受时空限制，随时随地购物。不受时空限制，随时随地购物。在看不到商品的情况下，口碑就在看不到商品的情况下，口碑就是质量。是质量。路漫漫其悠远路漫漫其悠远大数据带来全新的大数据带来全新的生活方式生活方式 旅行：旅行：足不出户

19、，安排好一切。路漫漫其悠远路漫漫其悠远大数据带来全新的大数据带来全新的生活方式生活方式 信息：信息：人人都是传媒。路漫漫其悠远路漫漫其悠远大数据带来全新的大数据带来全新的生活方式生活方式 社交：社交：你所有的朋友都能在网络上找到。路漫漫其悠远路漫漫其悠远二二 . .大数据带来全新的大数据带来全新的思维方式思维方式 1.1.分析事物时，依赖该事物的所有数据，分析事物时，依赖该事物的所有数据，不再是进行样本分析。不再是进行样本分析。 2.2.在大数据时代，允许不精确。在大数据时代，允许不精确。 3.3.更注重相关关系，而不是因果关系。更注重相关关系，而不是因果关系。路漫漫其悠远路漫漫其悠远1.“更

20、多”不是随机样本，而是全体数据 当数据处理技术已经发生翻天覆地的变化时，在大数据时代进行抽样分析就像在汽车时代骑马一样。一切都改变了，我们需要的是所有的数据，“样本总体”。让数据“发声”小数据时代的随机采样，最少的数据获得最多的信息全数据模式，样本总体大数据带来全新的大数据带来全新的思维方式思维方式路漫漫其悠远路漫漫其悠远2.“更杂”不是精确性，而是混杂性 执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是有框架且能适用于传统数据库的。如果不能接受混乱，剩下95%的非框架数据都无法被利用，只有接受不精确性，我们才能打开一扇从未涉足的世界的窗户。允许不精确大数据的简单算法比小数据的复杂

21、算法更有效纷繁的数据越多越好混杂性，不是竭力避免，而是标准途径新的数据库设计的诞生大数据带来全新的大数据带来全新的思维方式思维方式路漫漫其悠远路漫漫其悠远3.“更好”不是因果关系，而是相关关系 知道“是什么”就够了，没必要知道“为什么”!在大数据时代，我们不必非得知道现象背后的原因，而是要让数据自己“发声”。关联物，预测的关键“是什么”，而不是“为什么”改变，从操作方式开始大数据，改变人类探索世界的方法大数据带来全新的大数据带来全新的思维方式思维方式路漫漫其悠远路漫漫其悠远1.“数据化”一切皆可“量化” 大数据发展的核心动力来源于人类测量、记录和分析世界的渴望。信息技术变革随处可见，但是如今信

22、息技术变革的重点在“T”（技术）上，而不是在“I”(信息）上。现在，我们是时候把聚光灯打向“I”，开始关注信息本身了。数据，从最不可能的地方提取出来数据化，不是数字化量化一切，数据化的核心当文字变成数据当方位变成数据当沟通成为数据一切事物的数据化三三.大数据带来新的大数据带来新的商业变革商业变革路漫漫其悠远路漫漫其悠远2.“价值”“取之不尽，用之不竭”的数据创新 数据就像一个神奇的钻石矿，当它的首要价值被发掘后仍能不断给予。它的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，而绝大部分都隐藏在表面之下。数据创新1：数据的再利用数据创新2：重组数据数据创新3：可扩展数据数据创新4：数据

23、的折旧值数据创新5：数据废气数据创新6：开放数据给数据估值大数据带来新的大数据带来新的商业变革商业变革路漫漫其悠远路漫漫其悠远3.“角色定位”数据、技术与思维的三足鼎立 微软以1.1亿美元的价格购买了大数据公司Farecast，而两年后谷歌则以7亿美元的价格购买了给Farecast提供数据的ITA Software公司。如今，我们正处在大数据时代的早期，思维和技术是最有价值的，但是最终大部分价值还是必须从数据本身来挖掘。大数据价值的3大构成大数据掌控公司大数据技术公司大数据思维公司和个人全新的数据中间商专家的消亡与数据科学家的崛起大数据，决定企业的竞争力大数据带来新的大数据带来新的商业变革商业

24、变革路漫漫其悠远路漫漫其悠远大数据价值链的三种存在模式大数据价值链的三种存在模式数据的掌控者，拥有或者可以收集大量数据的公司。海量的数据就是财富，可以考虑自己分析或者卖数据给其他公司。金融机构，电信行金融机构，电信行业，政府机构等。业，政府机构等。技术供应商或者分析公司。掌握了从海量数据中分析出有用信息的技能或者工具，但本身不一定拥有数据。 IBM，Oracle等等。有创新思维的人或者公司。他们对大数据敏感，有怎样挖掘数据的新价值的独特想法。 Google，Amazon等。等。路漫漫其悠远路漫漫其悠远Netflix并不是任何一个电视台，而是电视台和电影院的平台，是北美最大的付费订阅视频网站。基

25、于其3000万北美用户观看视频时留下的行为数据，预测出凯文史派西、大卫芬奇和“BBC出品”三种元素结合在一起的电视剧产品将会大火特火 。此外，Netflix还通过“大数据”观测到另一流行趋势：越来越多的人不再像30年前那样，在固定晚上的固定时刻守在电视机前，等着收看电视剧的最新剧集，而是“攒”起来，直到整季剧情全部播放完毕之后，才选一个自己方便的时间段和地点，在方便的设备（多数是网络设备，如电脑、iPad）上一次性观看。纸牌屋的数据库包含了3000万用户的收视选择、400万条评论、300万次主题搜索。最终，拍什么、谁来拍、谁来演、怎么播，都由数千万观众的客观喜好统计决定。从受众洞察、受众定位、

26、受众接触到受众转化，每一步都由精准细致高效经济的数据引导，从而实现大众创造的C2B，即由用户需求决定生产。路漫漫其悠远路漫漫其悠远1.“风险”让数据主宰一切的隐忧 我们时刻都暴露在“第三只眼”之下：亚马逊监视着我们的购物习惯，谷歌监视着我们的网页浏览习惯，而微博似乎什么都知道，不仅窃听到了我们心中的“TA”，还有我们的社交关系网。无处不在的“第三只眼”我们的隐私被二次利用了预测与惩罚，不是因为“所做”，而是因为“将做”数据独裁挣脱大数据的困境四四. 大数据带来新的大数据带来新的管理变革管理变革路漫漫其悠远路漫漫其悠远2.“掌控”责任与自由并举的信息管理 当世界开始迈向大数据时代时，社会也将经历

27、类似的地壳运动。在改变人类基本的生活与思考方式的同时，大数据早已在推动人类信息管理准则上重新定位。然而，不同于印刷革命，我们没有几个世纪的时间去适应，我们也许只有几年时间。管理变革1：个人隐私保护，从个人许可到让数据使用者承担责任管理变革2：个人动因VS预测分析管理变革3：击碎黑盒子，大数据程序员的崛起管理变革4：反数据垄断大亨大数据带来新的大数据带来新的管理变革管理变革路漫漫其悠远路漫漫其悠远3.全新的管理模式 除了上帝，任何人都必须用数据来说话。 案例：案例：google的设计师 卓越的管理者必须要利用数据进行决策。 案例：案例：克强指数 问题一：数据从哪里来？问题二：数据怎么用？大数据带

28、来新的大数据带来新的管理变革管理变革路漫漫其悠远路漫漫其悠远内容提示内容提示 认识大数据 大数据带来的变革 大数据的商业价值大数据的商业价值 大数据的运用案例分析路漫漫其悠远路漫漫其悠远大数据的应用通过用户行为分析实现精准营销是大数据的典型应用，但是大数据在各行各业特别是公共服务领域具有广阔的应用前景消费行业金融服务食品安全医疗卫生军事交通环保电子商务气象路漫漫其悠远路漫漫其悠远 1.医疗机构将实时的监测用户的身体健康状况； 2.教育机构更有针对的制定用户喜欢的教育培训计划； 3.服务行业为用户提供即时健康的符合用户生活习惯的食物和其它服务； 4.社交网络能为你提供合适的交友对象，并为志同道合

29、的人群组织各种聚会活动； 5.政府能在用户的心理健康出现问题时有效的干预，防范自杀，刑事案件的发生； 6.金融机构能帮助用户进行有效的理财管理，为用户的资金提供更有效的使用建议和规划； 7.道路交通、汽车租赁及运输行业可以为用户提供更合适的出行线路和路途服务安排； 路漫漫其悠远路漫漫其悠远大数据的市场空间及对社会的贡献大数据的市场空间及对社会的贡献路漫漫其悠远路漫漫其悠远大数据的商业价值大数据的商业价值政府、金融、电信等行业投资建立大数据的处理分析手段，实现综合治理、业务开拓等目标；政府、金融、电信等行业投资建立大数据的处理分析手段，实现综合治理、业务开拓等目标；应用到制造等更多行业。应用到制

30、造等更多行业。路漫漫其悠远路漫漫其悠远互联网公司受益于大数据互联网公司受益于大数据路漫漫其悠远路漫漫其悠远马云的判断来自于数据分析马云的判断来自于数据分析商业价值之淘宝双双“十一十一”背后的技术讨论背后的技术讨论路漫漫其悠远路漫漫其悠远用户行为分析路漫漫其悠远路漫漫其悠远 中国工程院院士邬贺铨说道，“智慧城市是使用智能计算技术使得城市的关键基础设施的组成和服务更智能、互联和有效，随着智慧城市的建设，社会将步入“大数据”时代。” 智慧政务 智慧交通 智慧电网 智慧教育 智慧医疗 公共管理部门受益于大数据公共管理部门受益于大数据根据国家信息中心信息化研究部统计，目前我国提出智慧城市建设的城市总数已

31、达到154个，预计投资规模超过1.51.5万亿元万亿元。 智慧城市必将产生大数据，利用大数据的思维来改变公共管理部门的形象。路漫漫其悠远路漫漫其悠远医疗可利用多种大数据手段医疗可利用多种大数据手段临床操作 1、疗效比较研究 2、临床决策支持系统 3、医疗数据透明度 4、远程医疗监护 5、针对患者情况的先进分析付款/定价 1、自动化系统 2、医保系统研发 1、预测模型 2、改进临床试验设计的统计工具和算法 3、临床实验数据分析 4、个体化医疗 5、疾病模式分析新业务模型1、患者临床记录和需求数据的聚合 2、在线平台和社区公共卫生医疗行业受益于大数据医疗行业受益于大数据电子病历电子病历医疗行业产生

32、大数据（电子病历），利用大数据的思维将会给医疗行业带来变革。路漫漫其悠远路漫漫其悠远旅游业在大数据时代的发展旅游业在大数据时代的发展 旅游业发展趋势是：网络化、散客化、大众化。 在大数据时代，必须运用大数据思维，推行旅游的数字化管理，开展数字化营销，为旅客提供精准的个性化服务。路漫漫其悠远路漫漫其悠远制造业在大数据时代的发展制造业在大数据时代的发展 今后大数据将成为继石油之后的工业新鲜血液，对于大数据的良好应用，能够对市场、销售、生产等各个部门产生积极影响，优化各个环节的工作效率;制造原理、制造模式、制造工艺和生产工具都将发生根本性改变，以前难以制造的产品、实现不了的功能将获得突破，网络式创新

33、将释放全社会的创新能量，产品和技术变革周期将显著缩短。通过对数据的实时采集、准确把握、深度挖掘、分析优化，制造业将整体再提升实现转型升级。 路漫漫其悠远路漫漫其悠远内容提示内容提示 认识大数据 大数据带来的变革 大数据的商业价值 大数据的运用案例分析大数据的运用案例分析路漫漫其悠远路漫漫其悠远穿孔卡片与美国人口普查穿孔卡片与美国人口普查 美国在1880年进行的人口普查，耗时8年才完成数据汇总。因此，他们获得的很多数据都是过时的。 1890年进行的人口普查，预计要花费13年的时间来汇总数据。 后来，美国人口普查局通过用赫尔曼-霍尔瑞斯发明的穿孔卡片制表机来进行1890年的人口普查，耗时一年。路漫

34、漫其悠远路漫漫其悠远麻省理工与通货紧缩预测软件麻省理工与通货紧缩预测软件 美国劳工统计局的人员每个月都要公布消费物价指数（CPI），这是用来测试通货膨胀率的。 政府通过人工采集价格信息数据每年大概需要花费两亿五千万美元。这些数据是精确的也是有序的，但是数据往往会有几周的滞后。 麻省理工学院（MIT）的两位经济学家，通过一个软件在互联网上每天可以收集到50万种商品的价格，他们能比官方数据提前发现通货紧缩趋势。路漫漫其悠远路漫漫其悠远HitwiseHitwise，通过流量判断消费者喜好，通过流量判断消费者喜好 数据创新再利用的一个典型例子是搜索关键词。 消费者和搜索引擎之间的瞬时交互形成了一个网站

35、和广告的列表，实现了那一刻的特定功能。这些信息除了实现基本用途之外，它还可以变得非常有价值。 如数据代理益百利旗下的网页流量测量公司Hitwise，让客户采集搜索流量来揭示消费者的喜好。路漫漫其悠远路漫漫其悠远无所不包的谷歌翻译系统无所不包的谷歌翻译系统 2006年，谷歌公司开始涉足机器翻译。这被当作实现“收集全世界的数据资源，并让人人都可享受这些资源”这个目标的一个步骤。 谷歌翻译利用一个更大更繁杂的数据库，也就是全球的互联网。 谷歌翻译系统为了训练计算机，会吸收它能找到的所有翻译。它增加了很多各种各样的数据，还接受了有错误的数据。 谷歌语料库的内容来自于未经过滤的网页内容，所以会包含各种错

36、误。但谷歌语料库是其他语料库的好几百万倍大，这样的优势完全压倒了缺点路漫漫其悠远路漫漫其悠远谷歌，从大的谷歌，从大的“噪音噪音”数据中受益数据中受益 谷歌知道人们在搜索时点击的是第1页的第8个链接还是第8页的第1个链接，或者是干脆放弃了所有搜索点击。 谷歌就是依据用户的点击情况通过排名算法自动地在随后的搜索中将信息排位。 “数据废气”：看似“没用”的，“错误”的数据。路漫漫其悠远路漫漫其悠远IBMIBM，电动汽车动力与电力供应系统，电动汽车动力与电力供应系统优化预测优化预测 基于大量的信息输入，如汽车的电池电量、汽车的位置、一天中的时间以及附近充电站的可用插槽等，IBM开发了一套复杂的预测模型

37、。 它将这些数据与电网的电流消耗以及历史功率使用模式相结合。通过分析来自多个数据源的巨大实时数据流和历史数据，能够确定司机为汽车电池充电的最佳时间和地点，并揭示充电站的最佳设置点。路漫漫其悠远路漫漫其悠远物联网物联网 物联网（Internet of Things，缩写IOT）是一个基于互联网、传统电信网等信息承载体，让所有能够被独立寻址的普通物理对象实现互联互通的网络。 在物联网上，每个人都可以应用电子标签将真实的物体上网联结，在物联网上都可以查找出它们的具体位置。 通过物联网可以用中心计算机对机器、设备、人员进行集中管理、控制，也可以对家庭设备、汽车进行遥控，以及搜寻位置、防止物品被盗等各种

38、应用。路漫漫其悠远路漫漫其悠远RFIDRFID技术技术 RFID是Radio Frequency Identification的缩写，即射频识别，俗称电子标签。 RFID是一种简单的无线系统，由一个询问器(或阅读器)和很多应答器(或标签)组成。该系统用于控制、检测和跟踪物体。 RFID技术在超市和图书馆中的应用路漫漫其悠远路漫漫其悠远车联网车联网 未来车联网技术将重新定义汽车DNA。借助无线通讯，城市内车与车之间，车与建筑之间，车与人之间都将建立更加智能紧密的互联。 通过装载在车辆上的电子标签利用无线射频等识别技术，实现在信息网络平台上对所有车辆的属性信息和静、动态信息进行提取和有效利用，并根

39、据不同的功能需求对所有车辆的运行状态进行有效的监管和提供综合服务。路漫漫其悠远路漫漫其悠远无人驾驶无人驾驶 无人驾驶被人认为是车联网的终极目标 无人驾驶车依赖的技术很多，比如导航、雷达、庞大数据计算等，要实现这些技术需要和物联网紧密结合起来。 无人驾驶是通过车载传感系统感知道路环境，自动规划行车路线并控制车辆到达预定目标的智能汽车。路漫漫其悠远路漫漫其悠远自动泊车系统自动泊车系统 自动泊车系统，顾名思义驾驶者双手可以离开方向盘，在车辆停好之前要做的只是等待。 自动泊车系统主要由两部分组成：控制单元和位于前后保险杠以及两侧的超声波雷达探头。 按动自动泊车辅助系统激活按钮之后，雷达探头可在车辆行驶

40、时对车辆两侧进行扫描。 控制单元对雷达反馈的信息进行分析，从而估算出车位是否足以容纳车辆停放。 自动泊车系统随后将通过助力转向系统对车辆行驶方向进行干预，并以控制单元规划好的路径将车辆停入车位。路漫漫其悠远路漫漫其悠远日本先进工业技术研究院的坐姿研日本先进工业技术研究院的坐姿研究与汽车防盗系统究与汽车防盗系统 该研究所教授把每个驾车者的坐姿量化为精确的数据，使其对司机识别的正确率高达98%。 这项技术作为汽车防盗系统，一旦识别驾车者不是车主，就会自动熄火。 这一技术还可汇集事故发生前驾车者的姿势变化数据，分析坐姿与行驶安全的关系，在司机疲劳驾驶时发出警示或自动刹车。路漫漫其悠远路漫漫其悠远UP

41、SUPS快递快递大数据技术下的最佳行车路径大数据技术下的最佳行车路径 UPS快递多效地利用了地理定位数据。为了使总部能在车辆出现晚点的时候跟踪到车辆的位置和预防引擎故障，它的货车上装有传感器、无线适配器和GPS。同时，这些设备也方便了公司监督管理员工并优化行车线路。 UPS为货车定制的最佳行车路径是根据过去的行车经验总结而来的。2011年，UPS的驾驶员少跑了近4828万公里的路程，节省了300万加仑的燃料并且减少了3万公吨的二氧化碳排放量。路漫漫其悠远路漫漫其悠远UPSUPS与汽车修理预测与汽车修理预测 UPS国际快递公司从2000年就开始使用预测性分析来监测自己全美60000辆车规模的车队

42、，这样就能及时地进行防御性的修理。 通过监测车辆的各个部位，UPS只需要更换需要更换的零件，从而节省了好几百万美元。路漫漫其悠远路漫漫其悠远“量化自我量化自我” 通过一种非干预的手段，把一些所谓的医疗传感器放到我们的身边，比如我们戴一个腕表、一枚戒指、一个耳塞、一副眼镜等，通过这些设备我们可以了解自己的心跳、血压情况，甚至包括我们体表的健康状况，从而对一些大病（如癫痫等）进行早期预测。 美国Fitbit公司近期就推出了一款免费的苹果手机应用，用户可用于记录食物和液体摄入量，从而跟踪其活动水平和营养摄入情况，通过分析这些数据可以很好的控制体重。路漫漫其悠远路漫漫其悠远小儿床垫小儿床垫 通过床垫上

43、的压力与湿度传感器分析，来判断小孩子有没有比较严重的打鼾或者睡姿不正确等问题。路漫漫其悠远路漫漫其悠远在线教育在线教育 如著名的在线教育公司Coursera，已经和普林斯顿、伯克利、宾夕法尼亚大学等30多所大学合作，在互联网上免费开放大学课程 分布在世界各地的学习者不仅可以在同一时间实时听取同一位老师的授课，还和在校生一样，做同样的作业、接受同样的评分和考试。 在线教育是一个“行为评价和诱导”的智能平台路漫漫其悠远路漫漫其悠远在线教育服务在线教育服务KnewtonKnewton 在线教育服务Knewton是大数据应用于教育行业的典型，通过数据分析区分出每个学生的优缺点，从而给学生有效的指导。

44、美国最大的公立大学亚利桑那州公立大学曾运用这一系统来提高学生的数学水平，全校2000名学生使用该系统两学期之后，该大学的辍学率下降了56%，毕业率从64%升高到75%。路漫漫其悠远路漫漫其悠远购买飞机票购买飞机票 同一架飞机上的座位，票价却千差万别，个中原因，只有航空公司知道。 奥伦-埃齐奥尼开发了一个系统，用来推测当前网页上的机票价格是否合理，预测当前的机票价格在未来一段时间内会上涨还是下降，从而帮助乘客明智购票。 这个预测系统建立在41天内价格波动产生的12000个价格样本基础之上。路漫漫其悠远路漫漫其悠远Farecast是一个对机票价格进行预测的公司，帮助消费者抓住最佳购买机票的时机，使

45、乘客节省很多钱。最初预测系统建立在41天之内的12000个价格样本基础上，数据是从旅游网站上抓取的，如今已经拥有超过2000亿条飞行记录。系统只推测机票的价格何时最便宜，不关心是什么原因导致的价格下降。FarecastBing路漫漫其悠远路漫漫其悠远航班延误之候机经济学航班延误之候机经济学 美国建立了一个统一的数据开放门户网站Data.Gov。 Data.Gov上线以后，美国交通部开放了全美航班起飞、到达、延误的数据。 航班延误时间的分析系统（Flyontime.us）：帮助消费者找到表现最佳，最符合自己需要的航班。 该系统向全社会免费开放，任何人都可以通过它查询分析全国各次航班的延误率及机场

46、等候时间。路漫漫其悠远路漫漫其悠远The-NThe-N与电影票房预测与电影票房预测 The-N在好莱坞电影上映之前，就能利用海量数据和特定算法预测出一部电影的票房。 该公司拥有一个包括了过去几十年美国所有商业电影大约3000万条记录的数据库；数据库里有所有关于预算、电影流派、拍摄、阵容、获得奖项和收入等数据。路漫漫其悠远路漫漫其悠远VISAVISAMasterCardMasterCard与商户推荐与商户推荐 像VISA和MasterCard这样的信用卡发行商，它们能够从自己的服务网获取更多的交易信息和顾客的消费信息 它们的商业模式从单纯的处理支付行为转变成了收集数据 一个称为MasterCar

47、d Advisors的部门收集和分析了来自210个国家的15亿信用卡用户的650亿条交易记录，用来预测商业发展和客户的消费趋势。然后，它把这些分析结果卖给其他公司路漫漫其悠远路漫漫其悠远FICOFICO，“我们知道你明天会做什么我们知道你明天会做什么” 2011年，FICO提出了“遵从医嘱评分”它分析一系列的变量来确定这个人是否会按时吃药，包括一些看起来有点怪异的变量。 比方说，一个人在某地居住了多久，这个人结婚了没有，他多久换一个工作以及他是否有私家车。 这个评分会帮助医疗机构节省开支，因为它们会知道哪些人需要得到它们的用药提醒。有私家车和使用抗生素并没有因果关系，这只是一种相关关系。路漫漫

48、其悠远路漫漫其悠远中英人寿保险有限公司（中英人寿保险有限公司（AvivaAviva） 中英人寿保险有限公司（Aviva）是一家大型保险公司，他们想利用信用报告和顾客市场分析数据来作为部分申请人的血液和尿液分析的关联物。 这些分析结果被用来找出更有可能患高血压、糖尿病和抑郁症的人。其中用来分析的数据包括好几百种生活方式的数据，比如爱好、常浏览的网站、常看的节目、收入估计等。 通过利用相关关系，保险公司可以在每人身上节省125美元，然而这个纯数据分析法只需要花费5美元。路漫漫其悠远路漫漫其悠远XoomXoom与跨境汇款异常交易报警与跨境汇款异常交易报警 Xoom是一个专门从事跨境汇款业务的公司，它

49、会分析一笔交易的所有相关数据，一旦发现用“发现卡”从新泽西州汇款的交易比平常多的话，系统就会报警。路漫漫其悠远路漫漫其悠远沃尔玛，请把蛋挞与飓风用品摆在一起沃尔玛，请把蛋挞与飓风用品摆在一起 通过对历史交易记录这个庞大数据库进行观察，沃尔玛注意到，每当季节性飓风来临之前，不仅手电筒销量增加，而且美式早餐含糖零食蛋挞销量也增加了。 因此每当季节性飓风来临时，沃尔玛就会把蛋挞与飓风用品摆放在一起，从而增加销量。路漫漫其悠远路漫漫其悠远沃尔玛：东海岸沃尔玛：东海岸中海岸中海岸西海西海岸岸 在美国，东海岸、中海岸、西海岸之间有两小时时差。 东海岸的沃尔玛营业两小时后之后，中海岸才开始营业，沃尔玛就会把东海岸当天这两小时的营业情况、相关数据传给中海岸。 中海岸就会根据这个数据知道了这天人们的购物喜好，决定货品怎么摆放，哪些货物摆放在一起会比较好。 这种方式给沃尔玛带来了很大的利润。路漫漫其悠远路漫漫其悠远美国折扣零售商塔吉特与怀孕预测美国折扣零售商塔吉特与怀孕预测 塔吉特公司能在不被清楚告知的情况下预测出一个女性的怀孕情况 该公司找出了大概20多种与怀孕的关联物，给顾客进行“怀孕趋势”评分 这些数据甚至使得零售商能够比较准确地预测预产期，这样就能够在孕期的每个阶段给客户寄送相应的优惠券