数据资产管理在腾讯游戏的实践课件.pptx

1、数据资产管理在腾讯游戏的实践腾讯游戏大数据运营概况腾讯游戏大数据运营概况15w+表离线计算量：220+万/天流式计算量：2000+万/秒4000亿+数据100P+端游 100+款页游 90+款4w+表600亿+数据多维分析多维分析Bitmap IndexGeneratorData MapperBitmap FilterBuilderCol-1Col-1Col30w+表Execute EngineTDWDynamicBitmap IndexCacheAggregateMerger13000亿+数据手游 300+款每日传输量：17000亿条，约260TB，总存储量为100PB+，公司占比为20%2

2、019中 国 数 据 智 能 管 理 峰 会问题与痛点问题与痛点在游戏大数据管控中，面临着众多问题与痛点01数据多样化，缺少统一标准02 计算逻辑理解一不致，导致统计结果有偏差03数据全链路质量问题，层次复杂、不能快速定位问题0405数据质量偏低给数据应用带来的各种挑战数据标准缺乏结构化管理，集成困难游戏数据管控的问题与难点游戏数据管控的问题与难点06 数据分散，没有形成完整的成本管理07 数据价值的评估较为困难08 数据安全与合规保障的问题2019中 国 数 据 智 能 管 理 峰 会发展历程发展历程构建游戏大数据资产管理体系-历经6年在各阶段解决的关键问题数据集成数据治理 数据孤岛形成资产

3、运营 没有统一数据平台 数据流转架构混乱 数据传输时延高 数据集成效率低 平台组件不够稳定 数据标准缺失数据驱动 质量参差不齐数据成本剧增 数据安全防护差 数据血缘不完整 数据获取效率低指标概念不一数据合规存在风险 数据价值难评估 数据生命周期不合理运营效率有待提升2013年2014年2016年2018年2019年游戏大数据资产管理游戏大数据资产管理：通过组织、流程、制度、技术等组合手段，确保数据交付的质量、效率、成本和安全，助力业务数据价值提升2019中 国 数 据 智 能 管 理 峰 会能力模型能力模型“三好三好”“用好用好”数据资产数据资产“管好管好”数据资产数据资产“看好看好”数据资产

4、数据资产产品PM产品PM数据管理人员安全管理人员数据地图数据助手平台指引业务指标数据价值资源视图数据应用成本结算数据热点数据血缘数据审计血缘跟踪数据追溯异常分析知识图谱线下培训产品开发产品运维数据管理人员产品开发产品运维业务管理配置管理评估影响成本管理数据映射资源调度数据质量元数据管理数据源管理数据质量数据接入产品PM数据字典数据变更数据检索权限流程安全策略安全规范制度管理通用模块专属模块2019中 国 数 据 智 能 管 理 峰 会体系架构体系架构数据增值服务数据增值服务可视化报表效果分析活动营销消息推送渠道管理战绩查询更多资产管理平台资产管理平台资产总览资产治理资产服务资产安全价值评估更多

5、数据治理数据治理资产运营资产运营数据集成数据集成数据驱动数据驱动成本优化生命周期管理安全管理数据采集数据清洗数据传输数据整合数据存储数据标准流程制度数据质量数据共享数据血缘价值评估热度分析广度分析影响评估收益度分析数据开放DevAIOps元数据管理元数据管理元数据标准技术元数据业务元数据元数据存储元数据检索元数据开放更多游戏大数据资产管理体系游戏大数据资产管理体系2019中 国 数 据 智 能 管 理 峰 会元数据管理元数据管理元数据（Metadata）描述数据的数据按服务对象划分业务元数据技术元数据2019中 国 数 据 智 能 管 理 峰 会元数据管理元数据管理元数据应用 元数据检索数据一

6、体化质量监控资源管理其他应用更新管理版本管理其他管理用户管理权限管理日志管理备份恢复可视化 元数据能力特点元数据能力特点 异构适配，集中存储 业务指标，开放共享 描述数据，理解业务 自动构建血缘关系链 扩展能力，辅助运营元数据管理同步管理接口管理一体化更多技术元数据业务元数据DataMoreiData元数据服务接口其它元数据存储实时规则图灵模型桥接器数据映射桥接器元数据采集转换层异构数据源DBMSNoSQL日志文本TDW外部接口业务系统其它元数据管理体系技术架构2019中 国 数 据 智 能 管 理 峰 会数据资产目录数据资产目录-某业务视图某业务视图2019中 国 数 据 智 能 管 理 峰

7、 会数据集成数据集成-数据采集架构数据采集架构服务发现服务发现Consul/L5Web管理端管理端服务特性：服务特性：TCPKV-JSON 单机：UDP：5W qps;TGlog_SvrTGlog_SvrKCP:9w;TCP:10wUDP明文结构游戏客户端游戏服务端GWLBTGlog_Svr 单机吞吐量：180Mbps自定义序列化 分布式高可用，双方扩容互传输体系不耦合HTTPRPCTGlog_SvrTGlog_SvrTGlog_SvrPB/TDR序列化 高可用，高可靠：扩容不丢失数据；WAL双备数据 完整率:99.9999.9999%RPC-ProtoFile I/OKCP 多协议支持；多数

8、据格式支DB-Binlog持TDBANKAGENT 专业数据管理、数据运维 周边系统完善支持规范结构布道布道专业运维管理专业运维管理LogX在线实时检索在线实时检索元数据管理元数据管理2019中 国 数 据 智 能 管 理 峰 会数据治理数据治理-数据标准管理数据标准管理统一日志规范数据标准服务数据项标准指标项标准业务属性指标命名指标值域生成逻辑技术属性管理属性统一接入流程数据标准管理组织职责制度规范流程管控标准维护2019中 国 数 据 智 能 管 理 峰 会数据治理数据治理-数据质量监控覆盖数据质量监控覆盖数据数据应用应用设备基础监控应用链路监控集群计算监控计算延迟监控服务可用监控任务状态

9、监控设备基础监控集群计算监控集群存储监控来源变更监控计算延迟监控字典变动监控数据掉零监控资源容量监控数据存储数据存储+计算计算数据传输数据传输设备基础监控传输配置监控传输流量监控来源变更监控数据对账监控字典变动监控数据掉零监控服务心跳监控设备基础监控采集配置监控集群存储监控服务心跳监控数据对账监控数据掉零监控数据采集数据采集完整性一致性准确性及时性大数据质量监控多维覆盖大数据质量监控多维覆盖2019中 国 数 据 智 能 管 理 峰 会数据治理数据治理-面临挑战面临挑战在线运营(终点)微服务服务网关服务治理运营策略数据服务运营质量面临三大挑战：全链路数据服务环节众多复杂，问题定位困难Tredi

10、s存储Storm流式Kafka消息数据透传 业务服务故障，回溯数据问题非常困难 数据平台异常，如何快速评估影响面？TGlog采集数据传输离线存储离线计算数据源(起点)基于数据流构建的微服务技术架构解决方案：解决方案：基于数据 业务血缘构建全链路质量保障体系2019中 国 数 据 智 能 管 理 峰 会数据治理数据治理-血缘构建血缘构建数据与业务血缘关系链构建过程微服务调用跟踪链接口使用指标关系集群调度信息接口部署信息.dSaaSiPaaS营销活动精准推荐其他应用分析报表安全打击数据与业务血缘关系链应用开发平台PaaS计算层计算层集群负载情况数据消费关系数据指标关系数据存储关系离线计算关系.实时

11、计算任务调度调度引擎离线计算HDFSMR在线RMDBKV存储Spark流式计算PaaS数据层数据层数据分发MQ消息中间件数据入库关系离线导入关系数据透传关系.业务数据结构化采集传输采集集群非结构化SDK跨城传输跨国传输公有网络IaaS基础指标信息项目与资源关系.IDC服务器IDC存储网络云服务器云存储云计算IDC计算私有网络数据服务流转架构数据服务流转架构2019中 国 数 据 智 能 管 理 峰 会数据治理数据治理-血缘应用效果血缘应用效果 构建数据与业务血缘，保障数据全链路服务质量SLA达99.99+%1min内告警并评估影响面和问题快速定位2019中 国 数 据 智 能 管 理 峰 会资

12、产运营资产运营-成本管理成本管理大数据成本管理架构大数据成本管理架构成本报告成本优化成本评测成本组成同比环比生命周期推荐成本对比增长趋势优化推荐资源调度优化资源盘点成本预警计算逻辑优化预算Review业务成本平均成本数据服务成本资源降配ROI评分存储成本计算成本存储成本计算成本数据服务成本成本对比成本对比大数据引擎存储引擎计算引擎数据服务引擎2019中 国 数 据 智 能 管 理 峰 会资产运营资产运营-成本管理成本管理某业务数据资产成本管理视图2019中 国 数 据 智 能 管 理 峰 会资产运营资产运营-数据生命周期管理数据生命周期管理 数据生命周期管理面临问题无数据生命周期管理会发生什么

13、？数据无序增长成本快速上升计算效率低下数据维护困难2019中 国 数 据 智 能 管 理 峰 会资产运营资产运营-数据生命周期管理数据生命周期管理 数据在线度与生命周期数据在线度与生命周期 数据在线度的评估数据在线度数据在线度阈值1随时间推移，数据使用价值不断衰减，数据在线度就是反应数据的在线程度和使用衰减情况阈值2归档阶段在线阶段近线阶段时间时间影响数据在线度的因素：数据使用价值和数据重要等级，而数据使用价值有跟数据访问热度和应用广度有关，数据在线度的关联函数为 数据分类和重要等级数据分类和重要等级数据分类数据分类说明说明重要等级重要等级()=(),)收入类在线类状态类行为类性能类充值、消费

14、类，跟资金财产有关的数据用户注册、登录、登出等在线类数据游戏用户属性、等级等状态类数据用户在游戏内的体验操作等行为日志服务器性能、资源容量等数据其中()为数据使用价值，为数据重要等级数据生命周期管理策略随在线度的变化而变化数据生命周期管理策略随在线度的变化而变化2019中 国 数 据 智 能 管 理 峰 会资产运营资产运营-数据安全管理数据安全管理游戏数据资产安全管理“四大”关键举措合法合规合法合规制度规范制度规范国内和出海游戏数据按各国家制定和完善游戏用户核心数据安全管理规范1 23 4/组织相关法案及监督要求合法合规采集、存储和使用技术保障技术保障安全管理平台安全管理平台采用数据脱敏、加密

15、技术、租户隔离、角色授权等技术手段保障游戏数据安全传输、存储和使用通过敏感度分级、安全审计、数据脱敏等手段，做到“事前可管、事中可控、事后可查”，防止数据非法使用。资产安全管理方法论：资产安全管理方法论：“制度先行、流程规范、技术保障、平台支撑制度先行、流程规范、技术保障、平台支撑”2019中 国 数 据 智 能 管 理 峰 会资产运营资产运营-数据安全管理数据安全管理数据使用方数据使用方游戏工作室其他BG业务安全业务运维游戏研发更多更多资产安全管理资产安全管理合法合规合法合规事前可管事前可管制度规范制度规范技术保障技术保障事中可控事中可控资产安全管理平台资产安全管理平台事后可查事后可查加密存

16、储/传输敏感度分级实时告警事件处理权限回收授权监控安全审计访问记录下载记录安全报告权限管理离转岗人员合法合规检查敏感数据脱敏安全事件模拟风险评估数据平台数据平台TDWTGLogTSpiderTRedis更多游戏大数据安全管理体系2019中 国 数 据 智 能 管 理 峰 会资产运营资产运营-数据安全管理数据安全管理数据安全实时监控和操作审计架构实时计算告警数据平台ReceiverReceiver实时计算框架消息队列Tube告警规则StormTRedis组织架构权限管理敏感度管理Receiver告警模块异常权限检测异常权限检测采集访问/下载记录管理安全审计和监控视图配置和管理上报/审批/计算/视

17、图/告警告警结果运营报表审计入口统计监控页面2019中 国 数 据 智 能 管 理 峰 会资产运营资产运营-数据安全管理效果数据安全管理效果某业务资产安全管理视图总览 分钟级的数据安全实时监控 提供“事后”安全审计服务，回溯事件 数据安全事故0起发生2019中 国 数 据 智 能 管 理 峰 会数据驱动数据驱动-数据价值评估数据价值评估 实施数据价值评估的意义数据 衡量业务的投入产出比 衡量数据发挥的作用价值 为产品提供运营决策依据 衡量数据服务平台能力水平 数据价值评估的难点 行业内无统一标准和方法 公司内缺乏可量化的估值体系 数据价值存场景化差异性如何做数据资产价值评估？如何做数据资产价值

18、评估？2019中 国 数 据 智 能 管 理 峰 会数据驱动数据驱动-数据价值评估数据价值评估数据价值评估“三度”模型模型成熟度热 度成熟运营期研究观察期广 度收益度价值表现热度评分与等级应用广度评分业务贡献评分评估模型价值指标热度评分模型数据访问热度依赖计算模型数据血缘关系A/B Test计算模型业务运营指标数据应用 分析报表营销活动数据挖掘精准推荐存储引擎业务安全其他数据流数据采集数据传输计算引擎2019中 国 数 据 智 能 管 理 峰 会数据驱动数据驱动-数据价值评估数据价值评估 数据热度评估模型假设 ,(G)分别是数据节点,的被调用次数。则每个节点的热度值通过下面公式得到：A =+?

19、()()其中()表示节点的所有子节点的集合，比如，数据节点A的热度指数为BC =+(+()可以发现，上面的模型为典型是递归计算模型递归计算模型，其特点是 父节点 子节点DEFG数据节点的依赖关系数据节点的依赖关系冰冷温热0(0,10(10,200200热度等级（天）热度等级（天）2019中 国 数 据 智 能 管 理 峰 会数据驱动数据驱动-数据价值评估数据价值评估 数据广度评估模型通过数据源S的应用依赖关系发现，数据服务的种类越多，应用广度就越大，应用广度可表示为 S=S数据源其中为数据服务的种类数，为正相关系数，表示同一个数据服务有多个功能模块依赖数据源S，模块越多，正相关系数越大。其中

20、为数据服务 的模块个数数据服务A1A2A2An=?=功能模块F1F2F1F1F2F1F2最终应用广度模型为数据应用依赖关系数据应用依赖关系 S=?=微小中大(0,10(10,100(100,500500广度等级（天）广度等级（天）2019中 国 数 据 智 能 管 理 峰 会数据驱动数据驱动-数据价值评估数据价值评估 数据收益度评估模型时间周期时间周期123456789106759118459同等用户规模用户子群A用户子群B474953555856525856616463615958626365随机抽样数据应用干预A A/B Test评估模型上图是用户子群A和用户子群B的平均用户收入数据，同时

21、数据干预在时间周期11，作用于用户子群A，那么可以通过如下的A/B Test评估模型，来计算数据干预的贡献收入值，活跃度PVUV等可采用同样思路/=符合条件用户群符合条件用户群=()为数据干预时间周期，其中为A、B两个用户子群的历史平均差值2019中 国 数 据 智 能 管 理 峰 会数据驱动数据驱动-数据价值评估数据价值评估 基于业务价值上报价值指标采集按指定周期，结合A/B Test评估模型，计算数据应用平台给产品带来的业务价值评分存储引擎存储引擎计算引擎计算引擎数据应用数据应用V(i)为价值指标，如活跃、流水、PV、UV等P(i)为价值指标的权重()为该业务指定周期内的价值综合评分A/B

22、Test评估模型 =?()=1数据应用平台价值指标上报差中良优80,1000,20(20,60(60,80价值评分（天）价值评分（天）游戏数据资产管理平台游戏数据资产管理平台2019中 国 数 据 智 能 管 理 峰 会数据驱动数据驱动-数据价值评估数据价值评估 某业务数据热度和广度的分布视图2019中 国 数 据 智 能 管 理 峰 会数据驱动数据驱动-数据价值评估数据价值评估 数据价值评估的作用1、投入产出比、投入产出比ROI计算计算推动成本优化大数据投入产出比ROI扩大数据价值结合数据成本与价值，计算数据服务平台投入产出比，为市场化数据管理运营提供直接依据数据成本数据价值2、推动数据成本

23、优化、推动数据成本优化减少投入，推动业务方实施数据服务成本优化3、数据深度挖掘到精细化场景落地、数据深度挖掘到精细化场景落地放大价值，横向对比同类产品，协助业务方结合数据服务，发掘更多业务服务场景数据价值评估数据价值评估2019中 国 数 据 智 能 管 理 峰 会数据驱动数据驱动-运营效率提升运营效率提升计算资源静态分配存在问题 计算集群资源使用率较低，CPU总体使用率偏低 大部分资源池，存在着空闲时间段，且相互错峰解决方案：解决方案：基于技术元数据的资源动态调度2019中 国 数 据 智 能 管 理 峰 会数据驱动数据驱动-运营效率提升运营效率提升 第一步：应用组的预估分配核预估分配核数数

24、()=(_,(),(),_)上限预测基线 当前参考下限其中，其中，()为预测算法的预测值()为当前使用+等待分配核数（当前需要资源数）_ 为分配最小保护核数（静态分配值）_ 为应用组 的初始分配值（静态分配值）第二步：应用组的实际分配核实际分配核数数()=()/?()模型特点=其中，其中，为个应用组的总分配核数()为应用组 的预估分配核数1、上下限保护机制2、繁忙时不缩容3、充分利用冗余资源2019中 国 数 据 智 能 管 理 峰 会数据驱动数据驱动-运营效率提升运营效率提升计算资源动态调度的优化效果 计算任务总体执行效率提升52%（执行平均耗时从27.5min缩短至18.1min）集群资源

25、利用率从提升到24%任务平均耗时(分钟)27.518.1动态分配前动态分配后2019中 国 数 据 智 能 管 理 峰 会行业影响力行业影响力1.项目服务于腾讯400+款游戏，打造立体化、多层次的游戏数据资产管理体系2.由中国信通院颁发“最佳数据资产管理实践奖”，通过DCA数据管理平台能力测评。3.平台技术架构与模型已写入工信部-信通院大数据资产管理白皮书3.0，并参与大数据资产管理白皮书4.0的编写2019中 国 数 据 智 能 管 理 峰 会总结总结数据资产管理实践步骤数据集成巧妇难为无米之炊数据治理资产运营数据驱动大数据不在大，在于高质量拒绝打烂一手好牌回归业务挖掘优化点2019中 国 数 据 智 能 管 理 峰 会THANK YOU!