数据共享平台-结构框架培训课件.pptx

1、数据共享平台架构小结 -1目录p 主要原理l 前言 l 原理图p 周边系统描述p 数据共享平台结构 p 小结前言：数据共享的趋势前言：数据共享的趋势 随着信息社会的到来，计算机网络环境和分布处理技术的深入发展。信息系统中的数据源所呈现的形式也日益繁多，在这些数据中有模式固定的结构化数据，也有无模式的无序数据。这种无论是已知确定来自数据库的数据或是来自网络上的各式各样结构不固定、不完全或不规则的数据，都给信息系统在向国民经济信息化发展的过程中产生了很大的障碍。因此，完成不同数据的共享与交换成为各个企业与部门进行信息交换时所必须要解决的重要问题。-2 -3原理图原理图 -4目录p 主要原理p 周边

2、系统描述l 周边系统结构l 数据共享平台与各系统间关系l GPRS网络数据采集点（课外）l CDMA2000数据采集点（课外）p 数据共享平台结构p 小结周边系统描述周边系统描述 Gb：核心网PS域SGSN的对外接口 Mc：MSC Server与MGW间的接口为Mc接口，MSC Server通过Mc接口对MGW的承载连接行为进行控制和监视。-5数据共享平台与各系统间关系（一）数据共享平台与各系统间关系（一）根据集团规划，中国移动提供4+1系统，分别是性能管理系统、资源管理系统、网优平台、告警与故障管理系统4个系统和运维管理系统。江苏移动根据实际情况，性能管理系统分为数据共享平台和上层应用系统进

3、行建设。数据共享平台从告警与故障系统中获取历史告警数据。并根据业务与功能所要求有性能预警数据提供给告警与故障系统，以便于产生相关的工单，解决数据共享平台发现的潜在的网络与业务质量等方面的问题 数据共享平台从资源管理系统中获取资源配置数据、集客业务开通工单、勘察工单等数据，以便于数据共享平台进行数据关联与整合处理。-6数据共享平台与各系统间关系（数据共享平台与各系统间关系（二）二）数据共享平台从运维管理系统中获取工单，对工单数据与其他数据进行关联分析与整合处理，提高运维管理系统中工单的处理效率。同时将数据共享平台发现的问题分发到运维管理系统进行任务派单。数据共享平台为网优平台提供MR和性能数据，

4、支持网络优化。数据共享平台从Mc信令监测、Gn/Gb数据业务监测获取信令合成的XDR；从自动路测、自动拨测系统获取测试记录数据；从话务网管、数据网管、传输网管获取告警、性能统计数据；从BSS系统获取用户属性、异常话单和投诉记录数据；从终端库获取终端信息。-7 -8GPRSGPRS网络数据采集点（课外）网络数据采集点（课外）GbGbA AH HCSCS域域PSPS域域GMSCGMSCMSC/VLRMSC/VLRPSTN/PSTN/其其他运营商他运营商HLRHLRGGSNGGSNSGSNSGSNC CMSC/VLRMSC/VLRC/DC/DE EGcGcGrGrGnGnGiGiGsGsBTSBTS

5、BSCBSCBTSBTSAbisAbisBSSBSSUmUmA A：通话信息；通话信息；移动性管理信息；移动性管理信息；短信收发信息短信收发信息GbGb：用户短信信息用户短信信息移动性管理信息；移动性管理信息；分组数据业务信息；分组数据业务信息；GnGn：移动性管理信息；移动性管理信息；分组数据业务信息；分组数据业务信息；-9CDMA2000CDMA2000数据采集点（课外）数据采集点（课外）A1A1：BSCBSC与与MSCMSC之间的信令之间的信令接口。接口。A1A1接口主要用于传送接口主要用于传送BSCBSC与与MSCMSC之间的呼叫控制之间的呼叫控制和移动性管理功能的信令消和移动性管理功

6、能的信令消息；息；A2A2：A2A2接口承载接口承载BSCBSC和和MSCMSC之间的用户业务。之间的用户业务。A1p/A2pA1p/A2p是软交换引入的接是软交换引入的接口规范。口规范。A1pA1p：用于传送：用于传送BSCBSC与与MSCeMSCe之之间的呼叫控制和移动性管理间的呼叫控制和移动性管理功能的信令消息。功能的信令消息。A2pA2p：承载：承载BSCBSC和和MGWMGW之间之间的用户业务。的用户业务。A10A10：承载：承载PCFPCF和和PDSNPDSN之间之间用户业务，用于控制分组数用户业务，用于控制分组数据业务的鉴权、信道维护，据业务的鉴权、信道维护，移动性管理等功能。移

7、动性管理等功能。A11A11：承载：承载PCFPCF和和PDSNPDSN之间之间信令，传输分组数据业务消信令，传输分组数据业务消息。息。-10目录p 主要原理p 周边系统描述p 数据共享平台结构l 数据共享平台结构图l 数据流程p小结 -11数据共享平台结构图数据共享平台结构图数据流程（构成）数据流程（构成）数据共享平台整体架构如图所示主要由：数据装载、数据处理、应用功能、数据质量管理、元数据管理、系统管理，共六大模块 -12数据流程（数据装载数据流程（数据装载1 1）数据共享平台所要采集的数据源一般会有16类数据源，通过文件接口适配;数据库接口适配（JDBC/ODBC）；消息接口适配（Web

8、 Service交换数据或集成技术、）以上三种适配进行装载；数据适配的功能是由插件化的方式来实现序号序号采集数据内容采集数据内容数据来源数据来源接口适配方式接口适配方式1LTE XDR详单信息LTE信令平台WebService+FTP(非实时)2Mc XDR详单信息Mc信令监测系统WebService+FTP(非实时)3Gn/Gb XDR详单信息Gn/Gb数据业务监测WebService+FTP(非实时)4CMNet上网信息CMNet采集设备WebService+FTP或JDBC/ODBC52G/TD话务统计数据话务网管WebService+FTP或JDBC/ODBC6数据统计数据数据网管We

9、bService+FTP或JDBC/ODBC7传输统计数据传输网管WebService+FTP或JDBC/ODBC8LTE话务统计数据话务网管WebService+FTP或JDBC/ODBC9告警及告警统计数据告警及故障管理系统WebService+FTP或JDBC/ODBC10基础资源数据资源管理系统WebService+FTP或JDBC/ODBC11工单EOMS/网络支撑客服WebService+FTP或JDBC/ODBC12MR及相关统计数据无线网优WebService+FTP或JDBC/ODBC13用户属性信息及话单相关信息经分系统WebService+FTP或JDBC/ODBC14路

10、测测试记录路测WebService+FTP或JDBC/ODBC15拨测测试记录拨测WebService+FTP或JDBC/ODBC16各类终端信息终端库WebService+FTP或JDBC/ODBC -13数据流程（数据数据流程（数据装载装载2 2）通过接口适配把异构数据源提取的大数据大数据先经过ETL的提取清洗的过程，把不符合规则的数据清洗掉，并把该数据被清洗的原因及被清洗后所存放的物理地址等信息存入相应的日志当中；被清洗过的大数据在经过数据分发过程判断是否是实时的XDR数据或者非实时数据（其中的信令类型数据要求有缓存），在结束时最后以文件的形式暂时存储STG的大数据原始存储中 而经过数据

11、处理适配从异构的数据源中采集上来的传统数据中的基础资源数据、终端及用户基础信息和缓存信令数据进行数据关联和整合，最后进行数据分发的过程，最终传统数据汇入STG的传统原始存储中。-14数据流程（数据流程（STGSTG数据缓存）数据缓存）对原始信令码流、XDR数据、传统的数据进行缓存，保留时长2天 作用：提高接口健壮性、方面跟踪原始信令、出现数据问题时方便问题核查与补救 存储方式无限制要求 大数据缓存由文件的形式存放，而传统数据以数据库方式存放。-15数据数据流程（流程（ODMODM基础数据基础数据1 1）STG传统数据缓存中的传统数据传统数据先经过ETL的清洗流程把那些不符合规则的数据暂时清洗掉

12、，放到特定的本地物理存储中，并把该行为记录在本地后台的日志当中，以便日后对这些不规则的数据进行修改；而那些符合规则的数据再次进行ETL的转换流程，数据的转换主要有三种类型：1.将不同数据源中的同一网元数据进行统一规范编码、2.数据类型的转换、3.数据格式的转换;并把具体转换的数据条目等信息写入日志当中；-16数据流程（数据流程（ODMODM基础基础数据数据2 2）将经过清洗转换的数据最后经过ETL加载流程，一部分资源、终端、用户基础信息分离出来用作和大数据相关联，剩余的数据直接加载到ODM的传统数据存储，加载结束时删除刚刚加载过程所需占用原有数据库的缓冲区内的相应数据，并把这种行为写进日志当中

13、；数据加载一般有两种形式：全量入库（把数据库中的数据先删除在入库）、增量入库（只把采集到的新数据入库）；STG传统数据缓存中的经过清洗的大数据大数据（XDR，信令），其中的XDR会和传统数据经过ETL过程分离出来的资源、终端、用户基本信息进行关联和转换处理，而原始信令码流会经过原始的信令分发模块的装载；最后进行ETL的加载过程，把刚刚关联整合的大数据结果加载到ODM的大数据明细存储。-17数据流程数据流程（大数据整合关系图）（大数据整合关系图）当XDR等资源文件进行ETL转换时，会向传统数据存储的日志中提交轮询的动作，这时传统数据存储会进行数据关联同步：将资源、终端、用户基本信息和XDR关联整

14、合，然后向日志提交状态反馈，在进行关联整合判断，最后和信令数据一同加载到ODM的大数据明细存储中。-18数据流程（ODM）基础数据层分，大数据存储和传统数据存储 大数据存储大数据存储中的数据类型有：和传统关联过的XDR数据、从原始信令码流分发过来的信令数据、DPI设备识别数据、传统的资源，终端，用户信息；并为明细数据查询提供条件。传统数据存储传统数据存储中的数据类型：传统网管的统计数据、路测、拨测、工单、以及和网管性能统计相关联的明细大数据；为后续的数据汇总提供服务。ODM层存储的数据都是按照最细粒度的规范来存储的，数据保留30天 参考SID公用共享数据库的分域的建模的方法，采用NGOSS的自

15、顶向下逐级分解抽取出个域管理的实体，在数据建模上采用CMOSS2.0（中国移动网管支撑系统规划）的数据规划 -19数据流程（数据处理1）ODM中的大数据大数据经过数据处理层的并行计算过程，计算出数据仓库DW所需维度的数据，为其提供维度汇总数据（有关网管性能的大数据经过数据处理后，因其传统数据存储的性能数据会进行ETL的抽取过程，会被动的被汇入传统数据存储中，其他的类型的大数据会直接汇入DW中）；并行大数据在进行并行计算时会将要进行计算的大数据的计算任务分发到不同的处理模块中，利用多种计算机资源解决问题，根据数据基础层的counter文件去调用不同类型数据的不同算法根据数据仓库DW中要求的数据维

16、度进行计算并入库。并行计算作用并行计算作用：解决了大数据处理数据的效率，为数据仓库DW提供维度汇总数据，支持上层应用。-20数据流程（数据处理2）ODM中的传统数据传统数据会经过数据处理层的数据库计算把传统数据存储中的数据转换成DW中所需的维度数据。数据库计算数据库计算:再次进行数据ETL计算的过程，先进行ETL的抽取过程，其中把含有网管数据性能类型的大数据在其进行数据处理并行计算的时候提取出来，汇入传统数据存储中，在进行数据库直连的方式进行数据的抽取；然后进行ETL的清洗转换的过程，利用一些本身的存储过程进行数据计算和脚本来实现数据的封装；最后进行ETL的加载过程，利用sql的形式进行加载到

17、DW中。-21数据流程（DW）DW是数据库结构，主要是存储维度汇总数据，包括大数据并行计算和传统网管数据库计算出的数据结果，为数据共享层提供数据 DW数据仓库内的数据通常情况下会保留360天 -22数据流程（数据共享层）主要存储应用层基于大数据的计算需求产生的数据，时长7天（通俗的讲就是上层应用需要哪些维度的数据，先把这些数据从DW中取出来暂时的先存入共享层）-23 -24目录p 主要原理p 周边系统描述p 数据共享平台结构p 小结小结小结 数据共享平台采用层次化、面向开放的数据共享框架；以数据装载和数据处理为核心，提供标准、一致、完整、统一的数据，减少数据冗余，从最基础层面保障向不同应用供给同，类数据的一致性；数据共享平台中的数据可通过标准化的共享方式提供给内外部应用使用，使应用开发更多着眼于现实需求的实现。-25小结（部分缩略语）ODBC（Open Database Connectivity）:开放数据库连接 JDBC（Java Data Base Connectivity）:Java数据库连接 Web Service:交换数据或集成数据 STG:数据缓存层 ODM:基础数据层 DW:数据仓库 SGSN:核心网分组域的业务网管 BSS:移动基站子系统 Gb:SGSN和BSC的接口 -26