数字化时代大数据应用平台架构.pptx

1、数字时代大数据应用平台架构目录123数字经济时代需要新一代大数据应用平台如何实现面向治理的大数据应用平台面向治理大数据应用平台核心架构颠覆企业业务的的数字经济时代通过信息的获取和处理应对“多样性”的挑战，提供个性化定制和服务。数字经济实体经济传统生产材料信息要素机器设备土地厂房数据流量知识未来只有一种经济，数字化经济Cumulative value to society and industry(2016-2025, $billion)1,669( 21,809116-2025, $billionLogisticsElectricity804586Automotive778190Oil and

2、 Gas557342Consumer383323Telec oms675Aviation，Travel and TourismMining and MetalsMedia148 73118 1465197Chemistry and Advanced Materials157Impact to SocietyImpact to Industry数字化时代，让企业从独立走向生态佣金（便利交换）Commission-based models构建住房服务综合服务生态智慧社区综合服务平台监管服务建设目标房屋买卖监测分析居委会居民智慧物管智慧政务智慧社区服务平台物业智慧健康智慧商圈智慧租房库房托管公积金管

3、理业务效果技术支撑住房生态圈商家业主金融能力租赁（人、流程、物）Capacity-leasing models物业服务维修资金业务管理智慧金融房改金融结算服务公益教育综合服务平台人工智能应用研发目标 教师赋能、社会众筹、聚学扶志智能投顾智能客服智能核身金融市场定价与交易订阅（产品、服务）Subscription models营运 学历吸引、共享教学、扩展支教队伍技术智能风控精准营销机器人应用、人工智能、大数据分析亮点善行宗教事务管理服务平台家庭健康管理服务平台建设目标以家庭为单位医疗服务机构医院数据货币化（free服务、sell数据）Data-monetization models以个人为中心

4、基础医疗签约 公共卫生服务增值服务社工服务机构康复机构药店树 管 立 服 向 并 导 举 ，产品创新有偿健康管理服务数据成为企业生态化的基础去中介化数字化一体化实时化知识化实体到数据数据的共享交换实时数据传输&分析数据的服务数据到知识的转换的转换然而企业数据现状与应用方式不容乐观核心数据资产不清晰数据质量不高业务开发难协作数据应用无体系哪些是我的核心资产？怎么使用？数据需求！业务人员数据管理员数据需求X企业管理者 业务人员数据源IT人员大数据平台数据结果难难难难难实体到数据数据的共享交换实时数据传输&分析数据的服务数据到业务的转换价值企业需要面向治理的大数据应用平台用4数据运营，为下游提供统一

5、数据服务与管理整规盘核心资产优化整合，为开发数据服务提供基础基于核心资产，建立数据规范与体系盘点核心数据资产，提升数据可用性321什么是面向治理大数据应用平台围绕“盘-规-整-用”体系进行建设的大数据应用平台盘数据盘点规数据标准整数据整合用数据运营 盘点数据资产 梳理核心数据实体及元数据 构建数据管理组织体系，数据认责 依据数据模型，形成核心数据表 为下游系统提供统一集成的数据服务 制定数据管理制度及流程 依据数据流向和清洗整合规则，实现数据采集和处理，落地数据中台 数据安全控制 梳理数据流向 分析业务及数据问题 数据运用分析 定义核心数据数据模型及数据流向 成熟度评估 制定核心数据数据质量稽

6、核规则，及清洗整合规则目录1数字经济时代需要新一代大数据应用平台2 如何实现面向治理的大数据应用平台3 面向治理大数据应用平台核心架构已经有很多企业建设面向治理大数据应用平台电信行业重庆市人民政府政府行业航空行业大数据应用平台电力行业制造业保险行业金融行业能源行业标准、实时共享的保险业大数据应用平台数据源大数据应用平台业务应用官网产险官微基础数据关系数据分群数据协议数据交互数据资产数据管理数据寿险官微产险APP实时/批量服务能险A客寿险APP实时/批量接入.交易数据风险数据.客群分析管精准营销数据管理建设客户、渠道、资源的协同共享机制，形成融合发展标准、实时共享的保险业大数据应用平台数据源大数

7、据应用平台业务应用产个人客户基本信息保单信息寿险账户官网产险官微产险账户健康账户集团标准客户模型寿险官微产险实时/批量服务能投保信息险APPA.家庭客户理财账户年金账户客寿险APP客户统一账户统一认证实时/批量接入理赔信息接触信息资管账户农险账户.团体客户统一标签服务.统一数据服务统一消息服务客群分析潜在客户潜客信息资管外部数据数据管理精准营销-代码标准-字段标准-编码标准-其他标准-数据源管理 -模型管理-数据地图 -影响分析-血缘分析-质检规则管理-质检日志管理-异常预警-数据安全分级数据标准元数据管理数据质量管理数据安全-数据访问权限控制：定义、分配和维护围绕核心数据资产，打造共享、实时

8、、全量与标准的大数据应用平台面向服务、行销、决策与风控标准、实时共享的保险业大数据应用平台数据管理平台建设客户画像数据地图疑似同一客户专项治理制定客户数据质量管理办法制定数据服务监控管理办法建立专项数据治理工作流程数据质量监控管理数据服务监控管理数据安全管理标准、实时共享的保险业大数据应用平台数据服务平台建设数据服务数据源数据获取数据发布数据应用数据服务权限保单详情理赔查询客户足迹服务引擎服务权限数据脱敏Hbase/Solr/积分清单产品详情客户权益JDBC/业务应用实时服务引擎批量服务引擎服务监控引擎数据过滤HTTPJDBCHBASERPC实时服务数据列级权限FTP/HTTP数据加密文件标签

9、数据证件信息客户信心数据行级权限restful/webservice数据迁移批量服务Socket/BFT客户端定级创新型应用关系数据库datadatadatametadata数据监控SSM元数据采集服务目录webapp数据检索webapp服务开发webapp/eclipse服务发布webapp配置缓存Redis服务发布数据目录webappSpring boot数据服务开发数据服务发布数据资源目录标准、实时共享的保险业大数据应用平台数据开发人员数据管理员数据资源目录服务资源目录资源目录展示实时服务发布批量服务发布在线开发离线开发资源目录运行监控服务开发数据服务服务消费调用监控服务浏览服务申请服务

10、审批数据使用服务状态监控设配引擎监控故障告警消费方、数据管理员运维人员掌控核心资产，优化数据流向航空业数据应用平台市场营销精益研发智能生产专题分析专题分析数据检索数据可视化航班数据共享数据分析员工飞机客户参考运价销售维修财务库存时刻票券订票数据申请数据审批数据建模数据检索数据清洗数仓大数据DMMRHbaseHiveHDFSEDMODS采集层PLMSAPFCV-BOM CMMPDMS.车联网.结构化数据非结构化数据掌控核心资产，优化数据流向航空业数据应用平台借鉴某国外航空经验学习参考其航空13个主题域，即客户、员工、位置、订座、票务、航班、航班计划、财务、资产、设备、维修、运价、销售、产品库存。

11、数据架构材料，结合实际情况进行讨论01 数据主题域02 数据实体模型专家全程指导针对每个主题域给出了业务实体目录及定义，实体总数227个。分析了TeraData公司航空领域模型中近2000个实体03 业务系统通过对数据仓库贴源层业务系统表的核查及分析，给出了每个业务实体对应的数据库表与系统。数据探查及分析依次排除，逐个核对了1249张业务系统表数据1-客户（Customer）2-员工（Employee）3-位置（Location）4-订座（Booking）5-票务（Ticket）6-航班（Flight）对企业感兴趣的人与组织，是企业销售或服务以及与企业业务往来的个人、家庭与组织。某航内部直接管

12、理控制之下工作的个人，如正式员工，合同工，以及其他临时工作人员。和企业经营相关的所有设施,场所信息,如机场,办公地点,维修站等定义客户预定的航班订座，包含PNR编号、出行日期、承运人、航班号等信息。包括乘客购票签发出票/重出票交易与支付/退款信息/结算。包括所有的航班、航段、航节，航班计划（以及航班计划的盈利预测分析数据）7-财务（Finance）10-产品（Product）11-库存（Inventory）12-营销（Marketing）13-物流（Cargo）8-设备（Equipment）9-维修（Maintenance）和企业财务及收入结算相关的信息实际使用的设备信息,如飞机,机型,机号记

13、录维护维修的活动，确保使用合适的人员在合适的时间、地点维护设备航空运价/定价与成本（以及运价分析信息）内部/外部仓库中的库存调整市场行为挖掘客户策略支持企业支持航空货运业务所需的信息，包括货物分配计划、货物监管、货物销售、货物运输等掌控核心资产，优化数据流向航空业数据应用平台飞行时间业务定义不统一计算规则不统一报文解析不统一在11个与飞行时间相关的系统中，有7个系统产生飞行时间数据项，3个系统解析ACARS报文ACARS报文机务SAP系统MM系统FOIS系统运行网AFTN报文客舱网SITA报文CECS系统小时费系统QAR航校DOC系统FRMS系统飞行网运输生产统计系统电子任务书掌控核心资产，优

14、化数据流向航空业数据应用平台数据源数据应用平台数据专项应用场景计算规则1.航班计划编制、航班衔接排班（商委）新开航线（根据航距、速度、航路、风速等估算计划飞行时间）已有航线（统一在飞行时间基础上，根据一定比例放大，行程计划飞行时间计划飞行时间ACARS报文2.测算全公司所有航班将发生的成本（人力）按上一年的航季平均飞行时间加滑行时间，每月会根据上月修正更新一次1.计算正班、加班、包机、补班的航班小时费薪酬（人力）2. 估算飞行时间进行机组排班（飞行部）AFTN报文统一报文解析平台数据应用平台飞行标准时间实际飞行时间SITA报文1. 统计月报年报数据（飞行、飞管）2. 监控飞行员累计时间（飞行）

15、3. 计算返航、备降、调机、试飞航班的飞行小时薪酬（人力）4. 每月先用实际飞行时间核算全月小时费用成本，共享中心成本计提（人力）5. 上报民航局（规划）6. 核对油耗、飞行速度、计算航班准点率（规划）QAR合并统一的飞行时间：航空器靠自身动力滑行速达2节这一时刻开始到落地后借助自身动力停止滑行电子任务书7. 计算发动机及配件的累计飞行时间（技术）1. 航后、电子任务书未及时回收是，年底、月底控制飞行员累计飞行时间（飞行）报文飞行时间任务飞行时间SM系统航校1. 小时费快核算，根据当天电子任务书时间测算人力小时费（人力）1. 飞行员资质升级（飞管）2. 飞行时间查询（飞行）累计飞行时间培训时间

16、+实际飞行时间目录1 数字经济时代需要新一代大数据应用平台2如何实现面向治理的大数据应用平台3面向治理大数据应用平台核心架构面向治理的大数据应用平台总体架构数据开发管理（DD）数据管理 （DM）统一数据网关（DG）数据存储&计算实时区集成区历史区实验区平台架构建设五大重点12345闭环数据应用端到端服务开发全链路共享数据服务安全统一数据网关服务接口标准化闭环数据应用共享开发利用共享协作数据保障开发使用元数据资产管理运营分析管理端到端服务开发需求- 设计-开发-发布的端到端管理。提供方数据转换加密/脱敏Web服务数据库服务文件服务消费方申请审批服务目录（开发）服务目录（业务）在线开发离线开发作业

17、调度模板库发布开发申请/订阅准备工作消费方全链路共享数据服务自动化采集，形成全数据链路，形成数据服务共享的全貌图安全统一数据网关统一数据网关实时流处理数据回写到kafka如网络数据、结果数据MFP1.5年专题数据实时流接口安全1、消费kafka2、实时预警数据Hive1、消费kafka上传HDFS2、入Hive电X、分X信X、详单等存储180天，其余全量Neo4j图数据库（关系数据）JdbcHDFSrest行列1、消费kafka上传HDFS2、入HBaseHBase分类50+，电X400+等Kafka脱敏（7天）1、消费kafka2、入全文ES全文ES在线60+，历史180+Hive加密定级E

18、S1、消费kafka2、文本挖掘TEXTMINE非结构化HFS.HbaseSpark文本挖掘数据回写kafka回写的网格数据入时空库时空库1.5年回写的布控结果数据入库动态管控库永久服务接口标准化平台提供包括接口、文件和数据库的服务资产A服务A拉取推送服务B服务C服务D数据服务总线资产B资产C总结1，数字经济时代企业需要面向治理大数据应用平台2，面向治理大数据应用平台要围绕“盘-规-整-用”3，建立“采集、开发、管理与服务”一体化平台InsideOut云计算/大数据产品开放式研发扫描二维码加群开放内容开放形式研发过程向内外公开技术组件开放研发研发成果向社会公开微信群技术文章 在线培训线下沙龙微课堂 技术视频谢谢！