大数据发展概况及行业解决方案43课件.ppt

1、大大数据发展概况及行业解决数据发展概况及行业解决方案方案分享分享目录1 理解大数据2 大数据业界解决方案及典型应用概览移动互联时代，数据爆发性增长在60秒内，YouTube会上传48小时的视频；Google会收到2000000次搜索请求；Facebook的用户会分享684478条信息；目前世界上90%以上的数据是最近3年才产生的；2009年0.8Z，每年将增长50%，每两年便将翻一番，而预测全球的数据使用量到2020年会增长44倍，达到35.2ZB(1ZB=10亿TB)；数字宇宙大数据的主要来源较少：传统IT，企业业务系统，门户网站；15%；较多：社交网络兴起，大量的UGC(用户自生成内容)内

2、容、音频、文本信息、视频、图片，非结构化数据出现了；最多：物联网的数据量更大，加上移动互联网能更准确、更快地收集用户信息，比如环境、位置、生活信息等数据；并处于急剧加速的趋势；231什么是大数据Wiki百科：大数据（Big Data）是指那些超过传统技术处理能力的数据。它的数据规模和转输速度要求很高，或者其结构不适合原本技术存取、处理。IDC：大数据，通常是指解决问题的一种方法，即通过收集、整理生活中方方面面的数据，并对其进行分析挖掘，进而从中获得有价值信息，最终衍化出一种新的商业模式。实体角度广泛意义大数据的主要特征：4V多样化高速化精确化海量化Volume：大数据体量巨大每天每天25TB日

3、志数据日志数据每天上传每天上传168TB视频视频每天每天9500万万条条8201120122015全球数据存储量（全球数据存储量（ZB）2.71.81086420数量也许是与大数据最相关的特征；从TB级别，跃升到PB、ZB级别；前所未有的规模和加速趋势；Variety：大数据的多样性 数据形式的多样结构化数据，数据间有很强的因果关系；半结构化数据，数据间因果关系较弱；非结构化数据，数据间无因果关系；数据来源的多样性不同的应用系统各种设备互联网其它Velocity：大数据处理速度要求越来越高大数据与海量数据的一个重要区别，在于不仅数据尺寸大，而且对数据处理的响应速度有着更高的要求；处理速度快，1

4、秒定律；传统的以周，天，小时为单位的运算处理周期，下降到以分钟，秒为单位；大数据高价值的重要体现-处理速度；信用卡欺诈检测：通过分析每个客户的历史用卡行为，使用欺诈检测模型实时来检测每一笔交易是否异常。案例Veracity：精确化，大数据低价值密度的高精确要求数据不确定性。例如人的感情，天气形势，经济因素，环境信息等。价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。精确性是大数据最重要的特性，体现价值；客观的数据体毫无意义；精确是对大数据方法的要求和挑战，第5V，大数据的价值大数据的核心，第5V：Value；eBay精准在线营销精准在线营销 Ebay 有 1.8 亿个

5、活跃用户，有 3.5 亿左右的商品被销售，每天会产生 2.5 亿次搜索，拥有的原始数据是 10 PB；用户行为模式+用户基本信息，更精准的定位客户，感知客户购物需求，促成在线交易率；新浪微博+淘宝；QQ；美国海啸预警美国海啸预警 日本大地震发生后仅9分钟，美国国家海洋和大气管理局（NOAA）就发布了详细的海啸预警，制作的海啸影响模型出现在YouTube等网站；NOAA的快速反应基于其全球范围内庞大的海洋传感器网络，获取全球范围的海洋信息，并对获得的实时数据进行计算机模拟。NOAA的数据中心存储着超过20Pb的数据，是美国政府最大的数据库之一。数据进行专业化处理，并与已知的现实相融合，洞察运营，

6、促进和创新；数字石油；数据回报率=数据价值/数据成本；全球大数据市场规模从今年的148.7亿美元增长到2018年的463.4亿美元。我们在信息的海洋里淹死了，却在知识的海洋里渴死了。大数据带来的主要挑战和机遇数据存储；处理能力；实时响应；业务价值；传统的IT架构和技术已经不能适应大数据的处理需求；大数据的发展历程 早在1980年，著名未来学家阿尔文托夫勒便在第三次浪潮一书中，将大数据赞颂为“第三次浪潮”；全球知名咨询公司麦肯锡最早提出“大数据”时代到来；从2009年开始，“大数据”才成为互联网信息技术行业的流行词汇；2012年出版的大数据时代，对大数据进行系统、明确的阐述；2012年3月，美国

7、政府投资2亿美元启动“大数据研究和发展计划”，美国政府认为大数据是“未来的新石油”，将“大数据研究”上升为国家意志。我国尚未提出国家层面的大数据战略，在十二五的规划中把大数据作为物联网的相关关键技术提及；EMC、惠普、IBM、微软在内的全球IT巨头纷纷布局大数据；今年最大的收购案都与大数据相关：Oracle对Sun、惠普对Autonomy;状态：大数据相当于2010年左右的云计算：概念火热，摸索实践，落地较少；大数据的市场前景12011年-2016年中国大数据市场规模22014年各行业大数据市场规模l计世资讯预测，2014年政府、互联网、电信、金融的大数据市场规模较大，四个行业将占据一半市场份

8、额。公共服务（环保、交通）；移动互联电子商务；l由于各个行业都存在大数据应用需求，潜在市场空间非常可观。l计世资讯认为，2011年是中国大数据市场元年，一些大数据产品已经推出，部分行业也有大数据应用案例的产生。2012年-2016年，将迎来大数据市场的飞速发展。l计世资讯预测，2012年中国大数据市场规模将达到4.7亿元，2013年大数据市场将迎来增速为138.3%的飞跃，到2016年，整个市场规模逼近百亿。l十二五规划落地，4G；大数据与传统经分（BI）结构化数据数据规模一般为TB规模集中式为了分析进行大量数据移动，数据向计算靠近样例抽样，批处理为主结构化/非结构化混合分析的能力数据规模从数

9、十TB到PB级别分布式，计算向数据靠近全量，支持流式分析实时性要求高，1秒定律；具有最深的血缘关系大数据与云计算当今最火的两个概念，互相融合；云计算使大数据成为可能，大数据靠云计算技术实施和落地；大数据在于对海量数据的挖掘和处理，传统技术无法支撑，它必须依托云计算的分布式处理、分布式数据库、云存储和/或虚拟化技术；大数据比云计算更宜落地；商业模式驱动 vs 应用需求驱动大数据与云计算是天作之合目录1 理解大数据2 大数据业界解决方案及典型应用概览-大数据的企业实践方法-大数据的行业趋势热点-大数据的业界解决方案-大数据的典型应用案例企业大数据应用的四重奏企业大数据实践的演进路线内内容容建立知识

10、库；意识和知识培养和积累；从技术和业务价值等角度；个人、单元进行知识收集，而非正式的组织注重知识积累与市场观察；相关技术的实验性应用；企业大数据战略蓝图：数据角色，技术方向，投资回报；企业大数据演进路线：基于业务需求，分步骤优先级处理数据，部门，业务域；在有限范围内，落地大数据项目；验证技术、战略和业务方向；人力、技能、经验积累；形成企业级标准规范；扩大范围，大规模使用大数据应用；大数据常态化，重点聚焦业务运营和创新；提升、优化数据分析能力；企业大数据实践的演进路线高高管管对对大大数数据据的的支支持持初期技术推动，随着范围扩大和效果显现，业务高管逐步重视，并最终发挥更关键的业务核心作用，实现业

11、务主导的价值最大化。企业大数据实践的演进路线所所需需的的数数据据时时效效性性随着大数据应用的深入，缩短数据时延，提高数据时效性。数据不再仅仅是辅助支持决策的东西；而是在制订该决策时的一个业务关键要素。企业大数据实践的演进路线主主要要障障碍碍资源支持到能力提升；制订有吸引力的业务投资回报分析报告的能力，贯穿始终；企业大数据分析的能力构成传统经分 +数据拥有 +处理分析能力 +业务融合目录1 理解大数据2 大数据业界解决方案及典型应用概览-大数据的企业实践方法-大数据的行业趋势热点-大数据的业界解决方案-大数据的典型应用案例大数据的关键技术大数据的重点行业及应用21互联网行业大数据主要应用在社交和

12、网购方面互联网行业大数据主要应用在社交和网购方面结合位置数据、消费数据进行实时营销信息推送是电结合位置数据、消费数据进行实时营销信息推送是电信行业大数据应用主要场景信行业大数据应用主要场景3金融行业大数据应用场景主要集中在投资方面金融行业大数据应用场景主要集中在投资方面4制造行业具有多环节、多地域特色，各个环节的优制造行业具有多环节、多地域特色，各个环节的优化是制造行业最关注的大数据应用场景化是制造行业最关注的大数据应用场景永无止境大数据的价值热点趋势根据IDC和麦肯锡的大数据研究结果的总结，大数据主要能在以下4个方面挖掘出巨大的商业价值：对整个顾客群体细分，然后对每个群体量体裁衣般的采取独特

13、的行动；运用大数据模拟实境，发掘新的需求和提高投入的回报率；提高大数据成果在各相关部门的分享程度，提高整个管理链条和产业链条的投入回报率；进行商业模式、产品和服务的创新。综合来看，未来几年大数据在商业智能、公共服务和市场营销三个领域的应用非常值得看好，大多数大数据案例和预算将发生在这三个领域。从单纯关注技术“T”转为更加关注信息“I”，让数据产生价值目录1 理解大数据2 大数据业界解决方案及典型应用概览-大数据的企业实践方法-大数据的行业趋势热点-大数据的业界解决方案-大数据的典型应用案例四类大数据处理平台；数据分析平台数据分析平台：提供高效存储和快速列存储式数据库，能为客户分析处理PB级的数

14、据，例如HP Vertica。数据操作平台数据操作平台:企业级的NOSQL数据库,Couchbase和MarkLogic等。IaaS：分布式云计算平台，主要产品有Amazon,Infochimps等；结构化数据库结构化数据库：结构化数据库产品，Oracle,Microsoft SQL Server,MySQL,PostgreSQL,memsql,Sybase,IBM DB2等；围绕大数据的生态产业链数据应用层数据处理层基础支撑层基础支撑技术，包括Hadoop,MapReduce,Hbase,Cassandra,Mahout等分布式大数据支撑平台；分析和可视化应用；商业智能；DaaS；国内、国外

15、的分布；广告/媒体应用；日志数据应用；垂直应用；大数据的方案供应商角色综合解决方案供应商：IBM、HP、EMC、Microsoft等IT巨头，提供端到端产品和解决方案；面向应用分析的专业厂商：vertica、splunk、cloudera，引跑科技，华夏威科，以提供软件和服务为主；国内厂商大多据此；互联网厂商：大数据的拥有者，服务者，收益者，领跑者；阿里、腾讯、百度等；电信运营商：互联网化转型；阿里大数据战略架构 马云对阿里集团未来“平台、金融、数据”的三大构想战略；阿里集团目前拥有的大数据达到30P，其中1P等于100万GB；阿里是大数据的拥有者，数据服务的提供者、收益者；自用+他用；现在的

16、数据开放应该是以TOP平台为主面向电商平台客户开放，比如数据魔方的开放。打造开放的生态系统：近期谨慎开放；互联网厂商是大数据战略实践的领跑者引跑科技 EngineOne大数据处理平台云数据库云搜索引擎云内容管理结构化数据海量数据搜索非结构化数据.云操作系统EngineOne：一站式、弹性的、高性价比的大数据处理平台引跑科技 EngineOne大数据处理平台云计算的核心：云数据库、云内容管理、云搜索引擎目录1 理解大数据2 大数据业界解决方案及典型应用概览-大数据的企业实践方法-大数据的行业趋势热点-大数据的业界解决方案-大数据的典型应用案例案例：案例：阿里阿里 数据魔方数据魔方阿里 数据魔方数

17、据魔方淘宝官方数据产品分享海量行业数据致力帮助商家实现数据化运营用数据做行业定位、点亮品牌路。订购条件：集市五钻以上或者天猫用户适用人群：中大卖家,品牌商专业版 3600元/年；标准版 90元/季；第一时间实时监测店铺成交，店铺在行业内的经营变化，帮助您实时掌握店铺动向。行业分析俯瞰行业市场大盘，分析行业内热销宝贝，热卖店铺买家信息等。帮助您做品类管理、定价、定向营销。市场细分从品牌、产品、属性的角度分析热销宝贝，热卖店铺买家信息等，帮助您做更细致深入的市场分析。品牌分析淘词分析行业的热词榜，随意查找关键词，诊断宝贝标题，帮助您及时更新关键词，优化标题引流量。行业热词榜全网关键词查询宝贝标题诊断流失顾客分析分析你的店铺宝贝流量来源，流失的顾客最终买了什么宝贝，帮助您分析顾客流失的原因。流量来源来访客户流失情况流失客户去其他店买了什么宝贝访问量自有店铺分析展示本店铺的成交、转化率等一些整体店铺的数据分析，帮助您了解店铺整体运营情况；自有店铺分析里面统计的成交数据都是按照所选时间段内，实际完成支付的。谢 谢！Thanks