电信运营商大数据解决方案.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《电信运营商大数据解决方案.ppt》由用户(晟晟文业)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 电信 运营商 数据 解决方案
- 资源描述:
-
1、电信运营商大数据解决方案电信运营商大数据解决方案1电信运营商大数据解决方案1一数据处理技术的演进数据处理技术的演进二主流分析型数据库技术介绍、对比及选型三电信运营商大数据平台2目录目录一数据处理技术的演进二主流分析型数据库技术介绍、对比及选型三什么是大数据大数据指不用随机分析法(抽样调查)这样的捷径,而采用对所有数据进行分析处理的方法维克托迈尔舍恩伯格“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产全球领先的信息技术研究和分析公司 Gartner一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,
2、具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征麦肯锡3什么是大数据大数据指不用随机分析法(抽样调查)这样的捷径,而大数据4V特征?随时随地产生数据,数据量更大?以“低成本”的方式获得“可接受”的数据分析结果?Cheap:“廉数据”VolumeVariety?数据具有多样性?数据来源多、类型多?Multi-X:同一对象多维描述?对处理速度要求更高?实时和在线?Swift:“快数据”VelocityValue?价值密度低更多高价值的数据产生对有价值数据进行“提纯”大数据的目的Big DataBig Money4大数据4 V 特征?随时随地产生数据,数据量更大?以“低成本”的
3、数据库技术是大数据处理的关键?大数据处理流程数据获取数据获取数据数据ETL数据存储数据存储数据分析数据分析数据服务数据服务数据库技术是大数据的关键!5数据库技术是大数据处理的关键?大数据处理流程数据获取数据E T数据处理技术的演进分布式技术提出分布式技术提出谷歌提出分布式文件系统、分布式数据库和分布式计算框架,奠定大数据技术基础实时计算技术提出实时计算技术提出流计算、图计算、交互式分析、内存计算等技术不断演进19952000200520102015SQL/ACID传统关系型数据库的崛起,提出面向企业应用的商业智能,面向数据仓库的数据分析(OLAP)技术兴起大数据大数据Hadoop技术提出技术提
4、出开源Apache Hadoop 逐渐兴起,大幅推进互联网大数据应用混合技术架构兴起混合技术架构兴起Spark、Flink等新一代分析引擎融入大数据平台6数据处理技术的演进分布式技术提出谷歌提出分布式文件系统、分布数据处理框架的演进RDBMPP数据库Hadoop7数据处理框架的演进R D B MP P 数据库H a d o o p 7数据处理框架-RDB(Relational Database)?特点单服务器、小型机?集中式数据和业务处理?ACID(Atomicity、Consistency、Isolation、Durability)?Scale-Up?OLTP(On-Line Transac
5、tion Processing),响应时间敏感?成本低?缺点大数据处理性能较差?容灾性较差?稳定性有局限?业务和数据处理规模有限?扩展性和灵活性较差?8数据处理框架-R D B(R e l a t i o n a l D a t a b a s e数据处理框架-MPP?特点Massively ParallelProcessing?多服务器、多节点,多任务并行执行?数据分布式存储和计算?ACID?Scale-out?OLAP(Online AnalyticalProcessing)?商业化?缺点扩展规模有限?对并发的支持有限?节点增删维护工作较复杂?不支持非结构化数据?成本较高?9数据处理框架-
6、MP P?特点Ma s s i v e l y P a r a l l eHadoop生态系统Hadoop,允许使用简单的编程模型,以跨集群分布式的方式,处理大型数据集。具有可靠、高效、可伸缩的特点。它的目的,是从单一的服务器到上千台机器进行扩展,从而利用各自的本地计算和存储资源。是一个能够让用户轻松构建和使用的分布式计算平台。用户可以轻松地在 Hadoop上开发和运行处理海量数据的应用程序。Hadoop在应用层面检测与处理各类错误,因此能够在一个集群内实现高可用性。并且Hadoop已经成为大数据行业的标准,形成了一个健康活跃的生态系统。可靠性、高扩展性、高效性、高容错性、低成本。10H a
7、d o o p 生态系统H a d o o p,允许使用简单的编程模型,以数据处理框架-Hadoop?特点?多服务器、多节点的集群架构?大数据多任务的分布式处理?HDFS(HadoopDistributedFileSystem)分布式文件系统、流式访问?MapReduce曹冲称象,分而治之?可靠、高效、高扩展(Scale-out)、高容错、低成本?可处理多种格式数据源,非结构化、半结构化数据?开源?缺点?对SQL的支持有限?无法高效存储大量小文件?不支持多用户写入及任意修改文件?缺乏专业的支持服务11数据处理框架-H a d o o p?特点?多服务器、多节点的集群架构数据处理框架的对比数据库
8、框架数据库框架分析性能分析性能扩展性扩展性容灾性容灾性数据类型数据类型业务场景业务场景支持全支持全SQL能异构数据整合异构数据整合成本成本RDB一般较差较差结构化OLTP不支持中等MPP好局限局限结构化OLAP能不支持较高Hadoop好好较好(非)结构化OLAP部分支持低没有最好的技术,只有最合适的技术。?针对业务需求“有的放矢”。?12数据处理框架的对比数据库框架分析性能扩展性容灾性数据类型业务一数据处理技术的演进二主流分析型数据库技术介绍、对比及选型主流分析型数据库技术介绍、对比及选型三电信运营商大数据平台13目录目录一数据处理技术的演进二主流分析型数据库技术介绍、对比及选型三移动互联网用
9、户流量激增,手机数据化、宽带化趋势明显移动互联网用户流量激增,手机数据化、宽带化趋势明显用户分布流量分布时间分布移动互联网:通信功能=80:20数据来源:数据来源:Infoma 2013数据来源:数据来源:Cisco 2013数据来源:数据来源:GSMA 2013全球移动互联网用户数量激增,全球移动互联网用户数量激增,已已3倍于固定互联网用户数量倍于固定互联网用户数量移动互联网流量激增,移动互联网流量激增,2012年底,年底,移动互联网应用使用时间激增,是移动互联网应用使用时间激增,是移动数据流量占比超过移动数据流量占比超过 13%使用通信服务时间的使用通信服务时间的4倍倍中国移动互联网发展有
10、相类似的趋势,截至中国移动互联网发展有相类似的趋势,截至2013年年6月,中国手机网民已达月,中国手机网民已达4.6亿,上半年移动互联网接入流量同比增长亿,上半年移动互联网接入流量同比增长62.6%(CNNIC、工信部)、工信部)移动互联网用户流量激增,手机数据化、宽带化趋势明显用户分布流4G、M2M将大大加快移动网络数据业务和流量增长4G驱动流量增长M2M终端数量大幅度增长2014年,M2M设备数量接近智能终端4G、M2M将大大加快移动网络将大大加快移动网络数据业务和流量增长数据业务和流量增长ABI Research 2013.09数据来源:数据来源:Ericsson 2013.11数据来源
11、:数据来源:ABI Research 20122013年4G网络将占到全球流量的20%,2016年将超过3G网络流量,2018年将占据超过2/3的移动网络流量。2013-2018年,4G流量的年复合增长率达到82.2%。2018年数据业务收入占运营商的份额的47.3%2012年9月Verizon LTE网络建成不到2年,用户达到11M,占Verizon用户总数约12%,流量消耗占全网流量的35%以上。2013年1月,4G流量占比50%,2013年11月,4G流量超过64%,视频是主要业务2017年,全球年,全球4G终端产生的数据流量是非终端产生的数据流量是非4G终端的终端的8倍,每月数据流量超
12、过倍,每月数据流量超过10EB 1EB=1000PB (CISCO VNI 2013)4 G、M2 M将大大加快移动网络数据业务和流量增长4 G 驱动流量面对巨大流量,移动运营商面临强大的挑战面对巨大流量,移动运营商面临强大的挑战移动互联网服务商专业SNS超过超过7.1亿用户亿用户超过超过100万基站万基站电商点新音评闻SNS乐地问图答电信运营商博客视优惠券图频片微博签论到坛消息经分系统数据规模接近经分系统数据规模接近10PB每分钟超过每分钟超过800万通话万通话每秒上网流量超过每秒上网流量超过40GB每天信令数每天信令数据超过据超过1PB2G、3G、4G、WIFI 管道数据类型多样、数据巨大
13、、处理速度要求高,同时也存在质量问题,是电信运营管道数据类型多样、数据巨大、处理速度要求高,同时也存在质量问题,是电信运营商大数据的主要来源商大数据的主要来源面对巨大流量,移动运营商面临强大的挑战移动互联网服务商专业S需要融合巨大的管道数据和业务数据需要融合巨大的管道数据和业务数据虽然结构化的业务数据虽然价值含量很高,但是管道数据却提供了用户的数据消费、社交网络、行为轨迹、内容偏好等业务数据中无法提供的重要信息,这对用户刻画、套餐设计、用户体验提升等个人和企业产品设计所需依据均有巨大帮助A+Abis信令Mc信令Gn+Gb信令Gn-IuPS信令Wifi、Radius信令4G X2等信令DNS 数
14、据语音等业务数据网络优化网络优化日志+结构化数据决策支持决策支持精准营销精准营销业务创新业务创新需要建立采集、存储、分析、交互等全方位能力,其中既包括传统已经具备的能力,需要建立采集、存储、分析、交互等全方位能力,其中既包括传统已经具备的能力,也包括需要新建的大数据能力也包括需要新建的大数据能力需要融合巨大的管道数据和业务数据虽然结构化的业务数据虽然价值互联网公司通常采用混合架构解决大数据问题互联网公司通常采用混合架构解决大数据问题互联网公司目前主要采用 Hadoop、Streaming、RDBMS、NoSQL等技术应对大数据4V挑战,例如Yahoo针对日志数据进行两种处理,并与业务系统结合(
15、后期尝试 Spark技术)示例:Yahoo数据处理流程By Tim Tully(Distinguished Engineer/Architect,Yahoo)http:/spark-summit.org/wp-content/uploads/2013/10/Tully-SparkSummit4.pdf互联网公司通常采用混合架构解决大数据问题互联网公司目前主要采大数据技术在互联网公司得到成功应用大数据技术在互联网公司得到成功应用Google在全球多个数据中心在全球多个数据中心大规模混合部署和调度数据处理能力大规模混合部署和调度数据处理能力,系统利用率高达系统利用率高达80%+,2011年年Map
16、Reduce系统每天处理系统每天处理1000PB左右输入数据,支撑其核心业左右输入数据,支撑其核心业务,包括搜索、广告、地图、邮件、社区等业务。针对不同的数据处理需求提供多务,包括搜索、广告、地图、邮件、社区等业务。针对不同的数据处理需求提供多种数据处理系统。随着技术能力提高,将大数据处理能力服务化。种数据处理系统。随着技术能力提高,将大数据处理能力服务化。Facebook以以Hadoop为基础建设了包括流计算、实时计算、离线分析在内的各种大为基础建设了包括流计算、实时计算、离线分析在内的各种大数据系统系统。数据系统系统。2012年每天要处理年每天要处理25亿条消息、用户点击亿条消息、用户点击
17、Like按钮的次数达到按钮的次数达到27亿次、上传亿次、上传3亿张照片。亿张照片。Graph Search可以检索可以检索10亿用户、亿用户、2400亿图片和亿图片和1万亿次万亿次访问。目前已经支持多区域数据同步。访问。目前已经支持多区域数据同步。Facebook Puma每天处理超过每天处理超过200亿事件,亿事件,延迟小于延迟小于30秒秒Twitter利用利用Hadoop和和Pig工具完成数据的批量分析,并进行决策支持和数据挖掘,工具完成数据的批量分析,并进行决策支持和数据挖掘,利用利用Storm每天实时推送每天实时推送1亿活跃用户的亿活跃用户的5亿消息亿消息Amazon为被托管应用提供了
18、为被托管应用提供了多租户、按使用付费多租户、按使用付费的的大数据服务大数据服务,整合了非结构化,整合了非结构化(S3)、结构化()、结构化(RDS、SimpleDB、DynamoDB)数据,通过并行计算)数据,通过并行计算EMR能能力,将数据放入力,将数据放入RedShift用于最终的数据展现等目的。用于最终的数据展现等目的。大数据技术在互联网公司得到成功应用G o o g l e 在全球多个数据分析型数据库分析型数据库 是面向分析应用的数据库,可以对数据进行统计分析和即席查询等挖掘数据价值的工作。传统数据库是以事务处理为主,大数据时代的主要应用则是数据分析。数据库三大阵营:OldSQL、No
19、SQL、NewSQL分析分析NewSQL分析分析事务事务互联网互联网OldSQL事务事务NoSQL互联网互联网OldSQL一种架构支持多类应用一种架构支持多类应用OldSQL+NoSQL+NewSQL多种架构支持多类应用多种架构支持多类应用14分析型数据库分析型数据库是面向分析应用的数据库,可以对数据进大数据下的分析型数据库OldSQLNewSQLNoSQL?行存储?列式存储?列式存储?关系型?关系型?Key-Value?ACID?ACID?灵活性?SMP?MPP?MPP?分布式计算,分布式文件系统?内存计算(InMemory Computing)?新的硬件:Flash Card,SSD,高速
20、网络、Infiniband15大数据下的分析型数据库O l d S Q L N e w S Q L N o S Q L?行OldSQL?OldSQL是指传统的关系型数据库,借助于数学概念和方法来处理数据。数据规范化:关系型数据库的数据存储是为了更高的规范性,把数据分隔成最小的逻辑表(关系表)以避免重复,获得最精简的空间利用。事务性:SQL数据库支持对事务原子性细粒度控制,并且易于回滚事务。16O l d S Q L?O l d S Q L 是指传统的关系型数据库,借助于NewSQL?NewSQL是对各种新的可扩展、高性能的关系型数据库的统称。既能够提供OldSQL的质量保证,也能提供较强的可扩
21、展性。17N e w S Q L?N e w S Q L 是对各种新的可扩展、高性能的关系NoSQL?。?大数据类型的多元化急速增长,OldSQL不满足分布式技术架构的适用性Not Only SQL,泛指非关系型的分布式数据库。18N o S Q L?。?大数据类型的多元化急速增长,O l d S Q L 不满OldSQL&NoSQL&NewSQL 总结海量数据实时分析Vertica/Impala19O l d S Q L&N o S Q L&N e w S Q L 总结海量数据实时分析V目前主流分析型数据库对比类型类型存储方式存储方式运算方式运算方式系统架构系统架构支持支持SQLOldSQL
22、行/列式存储磁盘RDBMS支持较差较差传统数据分析Scale-up商业OldSQL行式存储磁盘RDBMS支持较差较差WEB应用Scale-up开源OldSQL行式存储内存RDBMS支持一般较差低成本内存运算Scale-up商业NoSQL分布式文档存储内存/磁盘C/S分布式集群不支持较好较好对象存储及处理Scale-out开源NoSQL分布式K-V存储内存/磁盘C/S分布式集群不支持较好较好数据键值关系突出Scale-out开源NoSQL分布式列式存储内存/磁盘Hadoop需插件好好海量存储与扩展Scale-out开源NoSQL分布式HDFS内存Hadoop类SQL很好好实时分析Scale-ou
23、t开源NoSQL分布式HDFS磁盘Hadoop类SQL好好批处理分析Scale-out开源NewSQL行式存储磁盘C/S分布式集群支持好较好二次订制开发Scale-up开源NewSQL分布式存储磁盘MPP支持好好数据仓库Scale-out开源NewSQL分布式列式存储内存/磁盘MPP支持很好好即席查询Scale-out商业20大数据处大数据处理能力理能力容灾性容灾性应用场景应用场景扩展性扩展性开放性开放性目前主流分析型数据库对比类型存储方式运算方式系统架构支持S Q分析型数据库选型思路成本成本可扩展性可扩展性数据查询能力数据查询能力稳定性稳定性&容灾能力容灾能力架构选择架构选择数据分析运算能力
24、数据分析运算能力数据存储方式数据存储方式决定性因素决定性因素关键因素关键因素一般因素一般因素分析需求分析需求数据格式数据格式21分析型数据库选型思路成本可扩展性数据查询能力稳定性&容灾能力一数据处理技术的演进二主流分析型数据库技术介绍、对比及选型三电信运营商大数据平台电信运营商大数据平台22目录目录一数据处理技术的演进二主流分析型数据库技术介绍、对比及选型三一大数据平台总体架构大数据平台总体架构二运行分析视图三规划支撑视图四决策支撑视图23目录目录一大数据平台总体架构二运行分析视图三规划支撑视图四决策支撑视电信运营商大数据平台电信运营商大数据平台-背景背景网络建设初期阶段网络建设初期阶段?阶段
25、一:先期基于路测数阶段一:先期基于路测数据、投诉数据进行简单分据、投诉数据进行简单分析;后引入析;后引入MR数据进行深数据进行深度覆盖分析;度覆盖分析;?阶段二:网络规划建设简阶段二:网络规划建设简单、粗糙,直接在空白区单、粗糙,直接在空白区域建设。域建设。网络精细化建设阶段网络精细化建设阶段?基于现网基于现网23类运行数据,类运行数据,建立了基于移动网络建立了基于移动网络“O域域+B域域”数据的分析方法数据的分析方法体系;体系;?在长春、成都、重庆、广在长春、成都、重庆、广州、兰州、上海州、兰州、上海6重要城市重要城市进行推广和验证。进行推广和验证。?探索探索六城市精细化建设精细化建设支撑,
展开阅读全文