国云数据大数据解决方案.pptx

1、国云大数据可视化解决方案2国云大数据魔镜企业版简介大数据魔镜企业版聚合联通应用探索分享大数据魔镜轻松应对业务挑战4 4 问题大数据魔镜解决方法无完整的数据价值体系魔镜是自下而上的一体化大数据可视化分析解决方案，技术层级上贯通始终，应用人员上覆盖全部，让企业或单位真正能够用起来大数据传统数据仓库难度太大变物理聚集数据为逻辑聚集数据，以数据的利用带动数据的聚集和联通，节省实施成本，最高密度的利用数据价值；多数据源连接、内存计算数据分析引擎，路径规划引擎，自动关联与自动建模等技术助理实现新型数据分析模式难以快速打通数据间的逻辑关系独创的元数据管理理念，先进快速的自动关联与自动建模功能，可随业务弹性扩

2、展，实时响应业务需求ETL成本高时间长速度慢创新的ETL方式：逻辑抽取，3分钟内连接一个数据源，颠覆传统的ETL冗长流程不能实时处理基于内存计算的数据分析引擎助力实时处理需求，独有的路径规划在计算过程中可以节省50%的时间与资源消耗团队疲于应付变化需求而得不到高价值的数据分析与挖掘固定报表自然是不在话下，各类临时突发的数据分析与挖掘需求也可以手到擒来，解放数据团队的智慧与体力，让数据团队更专注于钻研数据本身的价值数据分析任务维护成本越来越高业务人员也能数据分析，解放专业数据团队的时间精力；专业数据团队可以产生更大的价值；人人都能数据分析，形成良性循环，降低数据团队与业务运作成本数据团队价值无法

3、体现，不受重视形成业务人员数据分析师数据专家领导的多维数据体系，不仅产生价值，更能使企业自下而上看到价值，利用价值；员工轻松，领导满意产品-大数据可视化分析产品（魔镜）企业积累了各种数据，通过魔镜可以将其轻松聚集整合，通过元数据配置打通数据逻辑障碍，让业务人员轻松分析，实时支持数据决策，快速做出准确判断，简单易用，产生高额数据价值。产品总体架构丰富的异构数据源支持所有数据源都转换为自助式可视化分析电子表格 Excel TxT CSV传统数据库Mysql Sqlserver DB2新型数据库Mongo DB、Spark大型数据Hadoop、hive应用数据电商平台 微信 sina大数据魔镜快速聚

4、集异构数据源，3分钟即可完成一个，不必再像传统BI一样先建立数据仓库大数据处理与内存计算真正进入大数据时代，大数据处理+内存计算主力大数据量计算以及高速计算，随时响应业务需求。灵活的元数据配置灵活的元数据配置与业务归一，实施效率高，业务人员也能使用。传统BI难以扩展，使用门槛高。数据安全与权限控制精确到数据字段界别的安全控制，实现资源权限、数据权限、角色权限的分离控制，即使企业规模大层级多角色复杂也能完美支持，千人千面，人人都能数据分析。传统BI一般只有角色权限控制，很难做到立体化的数据安全与权限体系。全面监控用户级权限控制：丰富的可视化效果国内最大可视化效果库：500种可根据需求定制开发。远

5、超传统BI数据可视化图表类型。四屏合一：兼容性完美支持PC，手机，平板，大屏幕。摒弃传统，与移动互联网时代无缝对接，随时随地都能分享数据价值。（这里要放一个动态图）探索式分析纬度横向（探索式分析）与纵向（钻取）切换，帮助您全面了解数据各个细节。业务人员可以直接使用，无需任何技术基础，只要熟悉业务，就能有意想不到的发现。智能分析、数据挖掘智能分析:帮助业务人员利用可视化操作快速完成数据挖掘聚类分析：自动在您的数据中发现相互间拥有非常不明显关联的数据组，配合邮件快速完成客户细分精准营销的过程趋势预测：根据以往的历史数据归纳出发展的规律，并根据用户需求自动预测未来某个时间点的某项维度的数据文本解析、

6、关联分析、决策树模型等更多数据模型完善的数据分析、数据价值共享策略分享并团队协作，将公司数据价值最大化1.邀请公司成员同事参与到项目中，共享你的劳动成果2.二维码一键分享到微信等主流社交媒体，展示你的思维成果3.插入网页和文档，形成漂亮美观的报告4.手机随时查看结果15国云大数据平台解决方案简介16业界主流的数据库引擎 业务应用1 业务应用2 业务应用N数据交换CDPMySqlSql ServerOracleDB2应用服务计算存储数据库ETL大数据分布式数据库多租户云数据库DBaaS数据库服务运维服务开发平台超大规模的离线计算海量数据的实时计算流式计算引擎离线计算引擎ODPS实时OLAP引擎A

7、DS流式计算引擎OSPS数据应用A数据应用B数据应用C数据应用N数据中心开发套件算法平台数据地图结构化数据 半结构化数据 非结构化数据文本文件网站日志多媒体文件数据质量监控告警运维管理国云大数据方案整体架构17平台产品逻辑架构RDSDXTJOBJOBJOB数据切分并行传输字段映射类型转换容错重跑增量同步国云国云 ODPS国云国云 ADSOLTPETL实时OLAP分析离线分析SQLMR流图算法SQLJDBC全量索引智能分片数据开发DTalent开发质量告警PAI建模地图DTBase统一运维平台模块可单独交付18国云数据大数据的系统能力基于ODPS的大数据开发，支持SQL、M/R等编程框架，以及X

8、LIB算法框架数据开发支持多种异构数据源的数据同步和整合，消除数据孤岛数据集成可支持PB、EB级别的数据处理能力，存储规模可线性扩展海量处理基于流式的数据同步和计算引擎，实现秒级、毫秒级的实时数据应用实时处理将数据封装成服务，可同时提供给离线和在线系统使用，提供服务开发和运行框架开放架构基于统一的元数据服务来提供数据资源管理视图数据管理 数据服务能力 计算存储能力19飞天基础架构与Hadoop系统对应关系20国云 ODPS超大规模的离线计算引擎WebSDKIDEConsoleApacheUMMCacheSLBWorker 1Worker 2Worker nScheduler.ExecutorE

9、xecutorExecutor.存储调度协作储存调度协作存储调度协作存储调度协作.Cluster1Cluster2Cluster3Cluster n客户端接入层调度集群计算集群开放数据处理服务ODPS(Open Data Processing Service)万亿级数据JOIN，百万级job并发，每天PB级I/O吞吐支持单集群10000+节点，同时具备跨集群（机房）数据共享能力内置数据挖掘算法库，快速实现分布式并行计算提供功能强大易用的SQL、MapReduce引擎，兼容大部分标准SQL语法21数据集成能力跨平台的异构数据整合ORACLEMysqlODPSCDPOthersSqlServerO

10、SSOTSHBasePostgreSql半结构化弹性伸缩的传输通道四通达的数据链路 强劲迅速的同步能力 可靠健壮的安全保障 TXT大数据平台22数据存储能力分布式海量数据存储分布式文件系统 master应用程序ReadWrite同步块节点 块节点块节点 块节点块节点23数据管理能力数据质量监控数据质量监控服务DQC（Data Quality Center）覆盖数据采集清洗监测、数据加工处理监测、数据质量规则优化全过程，形成线上质量监控闭环预置30种以上的模板规则，覆盖波动率、一致性、离散值、业务逻辑、缺失值、约束检查等零延时的统计数据采集模块（数据落地，校验即完成）、多级容错、缓存，系统更加稳

11、健支持标准SQL形式的自定义规则，任意复杂度，可任意扩展；智能阈值算法，给用户合理的建议阈值数据质量管理系统架构数据质量网关数据传输通道数据处理通道DQCHookDQCExecutor调度系统数据质量服务数据质量Web服务数据质量DB数据质量工具DQC规则配置DQC项目管理DQC任务呈现DQC报告呈现任务调度资源调度DQCEngineDQC 任务 POOLDQC 规则中心DQC 质量校验中心DQC告警模块DQC多级容错DBDQC规则同步工具DQC告警对比工具DQC样本对比工具数据质量管理流程源数据数据加工流水线ODLEDWADMCDM源表清洗数据质量监控在线处理监控报警监控效果分析持续改进12

12、354优化清洗规则优化监控规则线上质量监控闭环24数据管理能力任务监控告警任务监控告警智能预测算法，提前预警，防患于未然。根据余量和当前时间(是否工作时段)选择报警时机）智能告警系统，零人工干预，精准告警推送。可配置多种告警方式，电话、短信、邮件、IM可设置告警策略，包括告警时段、间隔、持续时间支持标准SQL形式的自定义规则，任意复杂度，可任意扩展；智能阈值算法，给用户合理的建议阈值强保障模式弱保障模式任务A任务B任务C任务出错时通知责任人任务B任务C1任务C2任务D1任务D2任务AAM 6:00前必须完成AM 5:00前必须完成智能预测精准通知持续告警告警升级数据管理数据安全体系 国云大数据

13、安全体系服务可用性：99.9%数据可靠性：99.99999999%可用不可见1、数据密级灵活定义2、机密信息自动脱敏3、生产环境与开发环境隔离多租户隔离1、无超级管理员设计2、多租户间数据隔离3、数据管理者与系统管理者分离严格授权交换1、基于角色、表、字段的精细化授权2、非机密数据的共享交换授权3、机密数据在第三方仲裁下严格授权4、数据血缘管理，防止二次交易26数据开发可用不可见的开发模式DATA1DATA2DATAnDATA1DATA2DATAn脱敏数据研发套件数据研发访问/鉴权发布应用服务器/线上应用数据使用者研发/设计人员访问/鉴权数据使用生产环境开发环境27数据交换非机密数据交换天猫商

14、品数据天猫店铺数据购买记录天猫ODPS淘宝商品检索授权授权授权28数据交换机密数据交换购物数据阿里系ODPS神州租车交易数据银行系混合计算芝麻信用分无押金租车授权授权需要计算客户等级授权交换空间29国云 ODPS与开源产品对比多租户多租户1、提供ACL授权、策略授权、角色授权、跨项目授权多种权限管理，可实现精确到数据列级别的数据管理2、提供系统级、项目级和数据库表级的IP访问白名单设置3、所有计算在受限的沙箱中运行仅支持简单的用户组功能，只能通过用户组来进行用户权限隔离Hadoop hive 是当前最广泛使用的大数据SQL引擎，性能差，兼容性差开源Hadoop社区要同时满足上述功能，需要整合大

15、量组件，整合难度大，稳定性无法保证ODPS1、提供标准SQL与准实时SQL，由C+语言实现，性能高2、基于DAG（有向无环图）编程模型，比传统MapReduce模型要节省磁盘IO，性能提高30%3、数据使用列式存储，压缩效果好，对选取部分列的SQL查询，性能更优直接读写分布式文件系统，要求客户端必须与集群内部机器直连，安全风险高1、提供统一的数据进出通道，方便安全管理和流量控制2、支持批量和实时两种模式，满足不同类型数据的上传下载3、支持高并发上传下载，服务能力水平扩展，可支持每天1P吞吐量1、原生支持批处理MapReduce，图计算，机器学习算法库，实时计算，多维分析2、提供覆盖硬件级、系统

16、级、任务级多层次的运维管理平台3、提供完整的企业级数据应用，包括元数据管理、数据质量、数据地图、数据交换、数据仓库、数据市场、BI分析、数据血缘Hadoop30国云 ADS千亿级规模实时OLAP计算引擎飞天DBZookeeper数据节点消息节点升级管理接入服务（MySQL/REST/）资源管理Console数据库管理数据管理节点管理负载均衡账号体系安装部署日志管理分析数据库服务ADS(Analytic Database Service)千亿级数据的毫秒级多维透视，毫秒级的多个大表关联计算简单易用，通过SQL方式对数据进行多维分析、数据透视及数据筛选支持ACL授权、policy授权、角色授权、跨

17、project app授权等多种权限管理方法，所有操作记录审计日志支持多租户的使用场景，同时满足多用户协同、数据共享、数据保密和安全需求31国云 ADS与开源产品对比产品ADSImpalaSpark SQLKylin Hive 计算模型数据高度预分布的MPP架构，无Shuffle数据低预分布的MPP架构，Shuffle较少数据无预分布，RDD架构，根据计算变化决定Shuffle程度数据高度预分布，Cube结构，需要预先Build（建模）无数据预分布的MR架构，全部计算均要Shuffle索引智能全索引无一般无全索引无性能0.18s，高并发8s数分钟，低并发3s数分钟，低并发10s内，高并发30s

18、数分钟，低并发服务可用性很高较低较低较高很低成本偏高较低较低中等很低编程模型SQLSQL接近HQL，JOBSQLAPIHQL，JOB实时数据插入1分钟可见不支持旁路支持不支持不支持32测试例客户预期目标ADS实际表现实时数据插入40000条/秒60000条/秒集群高可用重启过程查询不间断重启过程查询不间断三表join条件查询秒级（3秒以内）286毫秒多表联合多字段并发查询秒级（3秒以内）496毫秒union all/group by操作的查询分钟级（3分钟以内）9秒，增加count(*)计算全部符合条件的数据17秒冠字号应用对接支持冠字号数据导入，查询正确支持冠字号数据导入，查询正确性能测试结

19、果比预期提高一个数量级ADS在金融行业测试的表现33测试例客户预期目标ADS实际表现卡口数据查询 精确查询：1年内数据1s 模糊查询：1年内数据6s 精确查询：1年内数据85ms模糊查询：1年内数据1509ms 车辆轨迹查询（15个卡口）1天1s；7天3s 1天250ms、7天1000ms 卡口过车统计 7天1s，一个月3s；3个月5s；一年10s 7天939ms、1月654ms、3月633ms、1年1142ms 跟车关联性分析 1s以内 同轨迹车辆过车信息44ms；时间间隔内轨迹相同618ms 多维度关联查询（1、超过年检时间车辆；2、2周内即将年检车辆）分钟级（3分钟以内）1、2937ms

20、 2、150ms 区域碰撞 1s148ms 短时过车1s50ms 频繁出入 1s76ms 性能测试结果比预期提高一个数量级ADS在交警行业测试的表现34国云数据服务平台xx用户管理系统监控资源管理自动部署计量计费系统安全日志审计系统管理作业调度算法组件DevOpsxx工具套件开发套件BI套件搜索套件ETL工具：DXT脱敏工具BI组件可视化组件文本搜索图片搜索xx血缘关系数据地图数据质量统一元数据管理数据治理数据交互服务平台数据开发平台数据分析平台机器学习平台其它3rd套件搜索引擎推荐引擎关系网络可视化引擎APISDK评分引擎NLP引擎用户画像3rd引擎35硬件配置需求类别类别服务器职责服务器职

21、责配置配置硬件控制节点服务器Intel Xeon E5-2650v2(2.6GHz/8c)/8GT/20M*2|16G REGISTERED DDR3内存*6|600G 热插拔SAS硬盘(1万转)2.5*4|八通道高性能 SAS RAID卡 1G+缓存断电保护模块*1|主板集成千兆网卡*2|标配导轨*1|双电源ODPS计算节点服务器Intel Xeon E5-2650v2(2.6GHz/8c)/8GT/20M*2|16G REGISTERED DDR3内存*8|4TB SATA（企业级）*12|八通道高性能 SAS 2308卡(IR)*1|主板集成千兆网卡*2|标配导轨*1|双电源ADS计算节点服务器Intel Xeon E5-2650v2(2.6GHz/8c)/8GT/20M*2|16G REGISTERED DDR3内存*8|2TB SATA（企业级）*9|480G MLC SSD 2.5*3|八通道高性能 SAS 2308卡(IR)*1|主板集成千兆网卡*2|标配导轨*1|双电源