大数据时代生活工作与思维的大变革(课件).ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《大数据时代生活工作与思维的大变革(课件).ppt》由用户(晟晟文业)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 时代 生活 工作 思维 变革 课件
- 资源描述:
-
1、大数据时代大数据时代-生活、工作与思维的大变革生活、工作与思维的大变革 一、认识大数据 二、大数据时代的变革 三、大数据时代的挑战 四、大数据的应用+何为大?何为大?数据度量数据度量+1Byte=8 Bit+1KB=1,024 Bytes+1MB=1,024 KB=1,048,576 Bytes+1GB=1,024 MB=1,048,576 KB=1,073,741,824 Bytes+1TB=1,024 GB=1,048,576 MB=1,099,511,627,776 Bytes+1PB=1,024 TB=1,048,576 GB=1,125,899,906,842,624 Bytes+1
2、EB=1,024 PB=1,152,921,504,606,846,976 Bytes+1ZB=1,024 EB=1,180,591,620,717,411,303,424 Bytes+1YB=1,024 ZB=1,208,925,819,614,629,174,706,176 Bytes+红楼梦含标点87万字(不含标点853509字)+每个汉字占两个字节:1汉字=16bit=2*8位=2bytes+1GB 约等于671部红楼梦+1TB 约等于631,903 部+1PB 约等于647,068,911部+美国国会图书馆藏书(151,785,778册)(2011年4月:收录数据235TB)+1EB
3、=4000倍美国国会图书馆存储的信息量+每天有29402940亿亿封电子邮件发出,如果这些是纸质信件,在美国需要花费两年两年时间处理;+每天有200200万万篇博客在网上发布,这些文章相当于时代杂志刊发770770年年的总量;+每天有2.52.5亿亿张照片上传至社交网站Facebook,如果都打印出来,摞在一起能有8080个埃菲尔铁塔个埃菲尔铁塔那么高;+每天有86.486.4万小时万小时视频被上传至视频网站Youtube,相当于不间断播放视频9898年年;+每天有1.871.87亿个小时亿个小时的音乐会在流媒体音乐网站Pandora上播放,如果一一台电台电脑从公元元年就开始播放这些音乐会,到
4、现在还没完没了地接着放脑从公元元年就开始播放这些音乐会,到现在还没完没了地接着放;+谷歌翻译每天处理的文字数量,每天翻译次数达十亿次十亿次,相当于一百万册图书一百万册图书,超过了全世界的专业翻译人员一年一年能够翻译的文字规模;+百度每天的关键词搜索量5050亿亿,谷歌33.333.3亿亿;+淘宝天猫双11那一天营业额达191191亿人民币亿人民币。中国小商品城全年成交额才580.03580.03亿元人民币亿元人民币;+累积起来,互联网一天之内产生的信息总量,可以装满1.681.68亿张亿张DVDDVD光盘。+未来:物联网每天产生的数据将会是海量的。一、认识大数据(续)什么是大数据?什么是大数据
5、(big-data)?人们并未形成统一的认识,一般而言,它是指规模远远超过传统数据库软件处理能力的海量数据集合。这一概念首要是针对信息化社会数据“爆炸式”增长,体量巨大而提出的。对于数据多大能称之为“大数据”,业界并没有统一的认识,通常认为100TB(太字节)是大数据的门槛。简而言之,传统方法无法处理的数据即为大数据。据美国政府估计,全球每年由各类设备产生的数据达到约1.2ZB(1ZB=12亿TB)。若用1粒沙代表1B数据,1PB(相当于1000T)相当于1英里长、100码宽的沙滩,而1.2ZB的数据就如同一片浩瀚的沙漠。一、认识大数据(续)21 21世纪是数据信息大发展的时代,移世纪是数据信
6、息大发展的时代,移动互联、社交网络、电子商务等极大拓动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围,各种数展了互联网的边界和应用范围,各种数据正在迅速膨胀并变大。据正在迅速膨胀并变大。互联网(社交、搜索、电商)、移动互联网(微博)、物联网(传感器,智慧地球)、车联网、GPS、医学影像、安全监控、金融(银行、股市、保险)、电信(通话、短信)都在疯狂产生着数据。“大数据大数据”的诞生:的诞生:半个世纪以来,随着计算机技术全面融入社会生活,信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息,而且其增长速度也在加快。信息爆炸的学科如天文学和基因学,创造出了“大
7、数据”这个概念*。如今,这个概念几乎应用到了所有人类智力与发展的领域中。+2007年,图灵奖获得者Jim Gray,提出“数据密集型科学发现(Data-Intensive Scientific Discovery)”将成为科学研究的第四范式,“数据科学”拉开了帷幕。+2008年,Nature杂志出版专刊,讨论大数据处理相关的一系列技术问题和挑战。+2012年3月底,美国政府发布了大数据研发专项研究计划(Big Data Initiative),拟投入2亿美元用于研究开发科学探索、环境和生物医学、教育和国家安全等重大领域和行业所急需的大数据处理技术和工具,把大数据研究上升到为国家战略。+2012
8、年10月,中国计算机学会于成立大数据专家委员会,并在2012年12月发布调研报告,说明数据科学的热点问题和发展趋势。2012 2012年年3 3月月2929日,白宫日,白宫发布美国政府的大数据计发布美国政府的大数据计划。划。通过提高从大型复杂的通过提高从大型复杂的数字数据集中提取知识和数字数据集中提取知识和观点的能力,承诺帮助加观点的能力,承诺帮助加快在科学与工程中的步伐,快在科学与工程中的步伐,加强国家安全,并改变教加强国家安全,并改变教学研究。学研究。11/11/2022 我国的应对我国的应对 最早提出最早提出“大数据大数据”时代已经到来的机构是全球知名咨询公司麦肯锡。麦肯时代已经到来的机
9、构是全球知名咨询公司麦肯锡。麦肯锡在研究报告中指出,数据已经渗透到每一个行业和业务职能领域,逐渐成为重锡在研究报告中指出,数据已经渗透到每一个行业和业务职能领域,逐渐成为重要的生产因素;而人们对于海量数据的运用将预示着新一波生产率增长和消费者要的生产因素;而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。盈余浪潮的到来。“麦肯锡的报告发布后,大数据迅速成为了计算机行业争相传诵的热门概念,麦肯锡的报告发布后,大数据迅速成为了计算机行业争相传诵的热门概念,也引起了金融界的高度关注。也引起了金融界的高度关注。”随着互联网技术的不断发展,数据本身是资产,随着互联网技术的不断发展,
10、数据本身是资产,这一点在业界已经形成共识。这一点在业界已经形成共识。“如果说云计算为数据资产提供了保管、访问的场如果说云计算为数据资产提供了保管、访问的场所和渠道,那么如何盘活数据资产,使其为国家治理、企业决策乃至个人生活服所和渠道,那么如何盘活数据资产,使其为国家治理、企业决策乃至个人生活服务,务,事实上,全球互联网巨头都已意识到了事实上,全球互联网巨头都已意识到了“大数据大数据”时代,数据的重要意义。时代,数据的重要意义。包括包括EMC、惠普、惠普(微博微博)、IBM、微软、微软(微博微博)在内的全球在内的全球IT 巨头纷纷通过收购巨头纷纷通过收购“大大数据数据”相关厂商来实现技术整合,亦
11、可见其对相关厂商来实现技术整合,亦可见其对“大数据大数据”的重视。的重视。“大数据大数据”作为一个较新的概念,目前尚未直接以专有名词被我国政府提作为一个较新的概念,目前尚未直接以专有名词被我国政府提出来给予政策支持。不过,在工信部发布的物联网出来给予政策支持。不过,在工信部发布的物联网“十二五十二五”规划上,把信息规划上,把信息处理技术作为处理技术作为4项关键技术创新工程之一被提出来,其中包括了海量数据存储、项关键技术创新工程之一被提出来,其中包括了海量数据存储、数据挖掘、图像视频智能分析,这都是大数据的重要组成部分。而另外数据挖掘、图像视频智能分析,这都是大数据的重要组成部分。而另外3项关键
12、项关键技术创新工程,包括信息感知技术、信息传输技术、信息安全技术,也都与技术创新工程,包括信息感知技术、信息传输技术、信息安全技术,也都与“大数据大数据”密切相关密切相关。1.VolumeVolume2.VarietyVariety3.value4.VelocityVelocity结构化数据、半结构化数据和非结构化数据如今的数据类型早已不是单一的文本形式,订单、日志、音频,对处理能力提出了更高的要求沙里淘金,价值密度低以视频为例,一部一小时的视频,在连续不间断监控过程中,可能有用的数据仅仅只有一两秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”是目前大数据汹涌背景下亟待解决的难题实时获
13、取需要的信息大数据区分于传统数据最显著的特征。如今已是ZB时代,在如此海量的数据面前,处理数据的效率就是企业的生命+“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低(Value)”就是“大数据”的显著特征,或者说,只有具备这些特点的数据,才是大数据。大数据的4V特征数据量巨大全球在2010 年正式进入ZB 时代,IDC预计到2020 年,全球将总共拥有35ZB 的数据量大数据=海量数据+复杂类型的数据大数据包括:交易数据和交互数据集在内的所有数据集海量交易数据:企业内部的经营交易信息主要包括联机交易数据和联机分析数据,是结构化的、通过关系数据库进行管理
14、和访问的静态、历史数据。通过这些数据,我们能了解过去发生了什么。海量交互数据:源于Facebook、Twitter、LinkedIn及其他来源的社交媒体数据构成。它包括了呼叫详细记录CDR、设备和传感器信息、GPS和地理定位映射数据、通过管理文件传输Manage File Transfer协议传送的海量图像文件、Web文本和点击流数据、科学信息、电子邮件等等。可以告诉我们未来会发生什么。海量数据处理:大数据的涌现已经催生出了设计用于数据密集型处理的架构。例如具有开放源码、在商品硬件群中运行的Apache Hadoop。第一层面是理论,理论是认知的必经途径,也是被广泛认同和传播的基线。第二层面是
15、技术,技术是大数据价值体现的手段和前进的基石。第三层面是实践,实践是大数据的最终价值体现。大数据处理技术大数据处理技术让大数据能够为我所用,大数据时代终于开启了。大数据与云计算大数据与云计算 云计算的模式是业务模式,本质是数据处理技术。(肉体+灵魂)数据是资产,云为数据资产提供存储、访问和计算。盘活资产,使其为国家治理、企业决策、个人生活服务,是大数据核心议题,也是云计算的最终方向。如果将云计算与大数据进行一些比较,最明显的区分在两个方面:第一,在概念上两者有所不同,云计算改变了IT,而大数据则改变了业务。然而大数据必须有云作为基础架构,才能得以顺畅运营。第二,大数据和云计算的目标受众不同,云
16、计算是CIO等关心的技术层,是一个进阶的IT解决方案。而大数据是CEO关注的、是业务层的产品,而大数据的决策者是业务层。1.1.大数据比云计算更为落地大数据比云计算更为落地2.2.大数据不仅仅是大数据不仅仅是“大大”3.3.软件是大数据的引擎软件是大数据的引擎4.4.大数据的应用不仅仅是商业化服务大数据的应用不仅仅是商业化服务5.5.管理大数据管理大数据“易易”,理解大数据,理解大数据“难难”l和数据中心(和数据中心(Data Data CenterCenter)一样,软件一样,软件是大数据的驱动力,是大数据的驱动力,软件改变世界软件改变世界通过用户行为分析实现精准管理、科学决策和人通过用户行
17、为分析实现精准管理、科学决策和人性化服务是大数据的典型应用,大数据在各行各性化服务是大数据的典型应用,大数据在各行各业特别是公共服务领域具有广阔的应用前景业特别是公共服务领域具有广阔的应用前景消费行业金融服务食品安全医疗卫生军事交通环保电子商务气象 虽然大数据是一个重大问题,真正虽然大数据是一个重大问题,真正的问题是让大数据更有意义的问题是让大数据更有意义 目前大数据管理多从架构和并行等目前大数据管理多从架构和并行等方面考虑,解决高并发数据存取的性方面考虑,解决高并发数据存取的性能要求及数据存储的横向扩展,但对能要求及数据存储的横向扩展,但对非结构化数据的内容理解仍缺乏实质非结构化数据的内容理
18、解仍缺乏实质性的突破和进展,这是实现大数据资性的突破和进展,这是实现大数据资源化、知识化、普适化的核心源化、知识化、普适化的核心 非结构化海量信息的智能化处理:非结构化海量信息的智能化处理:自然语言理解、多媒体内容理解、机自然语言理解、多媒体内容理解、机器学习等器学习等+大数据时代没有隐私爱德华斯诺登+70万人,无人告知的在线实验,全球第一大社交网络脸书(Facebook)隐秘进行的情感测试近日曝光天下,业界一片哗然。+2012年,脸书(Facebook)的幕后试验旨在公测70万用户在面对相应的NewsFeed中的情感反应和行为引导。具体说来,脸书(Facebook)在页面上人为的设置一些正面
19、或是负面的情感性关键词,同时控制用户在自己的News Feed中得阅读内容,从而观察用户在自身Post中得行为表达。经过大约一周的数据收集,脸书的数据分析员可以观察到用户对于社交网络上的情绪反应。对于70万用户情绪被消无声息的如此操控,脸书(Facebook)的行为无疑遭到了强烈的指控。+脸书此次幕后试验的曝光,是一个警醒的明示。用户、互联网企业以及政府之间的权衡,是一个当即也是长期去努力协作的过程。在个人隐私和道德制约的前提下,“大数据“时代,不是一个滥用数据的时代,而是一个需要善用数据的时代。+大数据属于谁?+数据独裁卓越的才华并不依赖大数据,大数据扼杀创新。如果对不可量化的事物进行量化,
20、我们将失去全面了解该事物的机会。+中国工程院院士邬贺铨说道,“智慧城市是使用智能计算技术使得城市的关键基础设施的组成和服务更智能、互联和有效,随着智慧城市的建设,社会将步入“大数据”时代。”+智慧政务+智慧交通+智慧电网+智慧教育+智慧医疗+根据国家信息中心信息化研究部统计,目前我国提出智慧城市建设的城市总数已达到154个,预计投资规模超过1.51.5万亿元万亿元。智慧城市必将产生大数据,利用大数据的思维来改变公共管理部门的形象。医疗可利用多种大数据手段医疗可利用多种大数据手段临床操作 1、疗效比较研究 2、临床决策支持系统 3、医疗数据透明度 4、远程医疗监护 5、针对患者情况的先进分析付款
21、/定价 1、自动化系统 2、医保系统研发 1、预测模型 2、改进临床试验设计的统计工具和算法 3、临床实验数据分析 4、个体化医疗 5、疾病模式分析新业务模型1、患者临床记录和需求数据的聚合 2、在线平台和社区公共卫生医疗行业受益于大数据医疗行业受益于大数据电子病历电子病历医疗行业产生大数据(电子病历),利用大数据的思维将会给医疗行业带来变革。+旅游业发展趋势是:网络化、散客化、大众化。+在大数据时代,必须运用大数据思维,推行旅游的数字化管理,开展数字化营销,为旅客提供精准的个性化服务。+购物:购物:不受时空限制,随时随地购物。在看不到商品的情况下,口碑就是质量。+旅行:旅行:足不出户,安排好
展开阅读全文