XXX省税务大数据解决方案汇报课件.pptx
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《XXX省税务大数据解决方案汇报课件.pptx》由用户(晟晟文业)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- XXX 税务 数据 解决方案 汇报 课件
- 资源描述:
-
1、XX省税务大数据解决方案交流X X 省税务大数据解决方案交流目录*公司介绍 成熟大数据平台要素 XX大数据解决方案 XX大数据产品详解 方案实践目录*公司介绍目录*公司介绍 成熟大数据平台要素1.源于实践源于实践2.数据生态数据生态3.安全可控安全可控 XX大数据解决方案 XX大数据产品详解 方案实践目录*公司介绍数据数据生生态态存、通存、通、用、用数数据据上云上云 数据地图数据集中存储 数据管理大规模计算能力 资产计量统一元数据存存用用通通12数据资产化数据资产化 数据整合*3数据开放数据开放 前店后厂 Enable开发者 共享/交换/售卖机制 安全管控能力4数据生态数据生态 Enable业
2、务创新 闭环 多物种 运营数据数据生态存、通、用数据上云 数据地图 数据集中存储 数据数据数据生生态态清清晰晰角角色色平台平台提供者平台运营者数据消费者数据提供者数据开发者应用开发者*数据生态清晰角色平台平台提供者平台运营者数据消费者数据提数据安全体系安全可安全可控控体系化体系化闭环闭环服务可靠性:99.9%数据可用性:99.99999999%数据开发可用不可见1、数据密级灵活定义2、机密信息自动脱敏3、生产环境与开发环境隔离数据运营多租户隔离1、无超级管理员设计2、多租户间数据隔离3、数据管理者与系统管理者分离数据交换严格授权交换1、基于角色、表、字段的精细化授 权2、非机密数据的共享交换授
3、权3、机密数据在第三方仲裁下严格授 权4、数据血缘管理,防止二次交易*数据安全体系安全可控体系化闭环服务可靠性:9 9.9%数据目录*公司介绍 成熟大数据平台要素 XX大数据解决方案 XX大数据产品详解 方案实践目录*公司介绍XX大数大数据据平台架平台架构构业界主流的 数据库引擎业务业务业务 应用1应用2应用N数据交换 CDPMySql Sql Server Oracle DB2应用 SaaS服务 PaaS计算存储数据库ETL大数据分布式数多租户云 据库数据库DBaaS数据库服务 运维服务开发平台开发平台超大规模的离线计算超大规模的离线计算离线计算引擎 ODPS海量数据的实时计算海量数据的实时
4、计算实时OLAP引擎 ADS流式计算引擎流式计算引擎流式计算引擎 OSPS咨询渠道分析办税渠道分析纳税人特征 分析风险控制数数据据服务服务开发套件算法平台数据地图结构化数据半结构化数据非结构化数据文 本 文 件 网 站 日 志 多媒体文件数据质量监控告警运维管理*X X 大数据平台架构业界主流的 数据库引擎业务业务业务XX大数据大数据的的系统能系统能力力基于ODPS的大数据开发,支持SQL、M/R等 编程框架,以及XLIB算法框架数据开发数据开发支持多种异构数据源的数据同步和整合,消除 数据孤岛数据集成数据集成可支持PB、EB级别的数据处理能力,存储规 模可线性扩展海量处理海量处理基于流式的数
5、据同步和计算引擎,实现秒级、毫秒级的实时数据应用实时处理实时处理将数据封装成服务,可同时提供给离线和在 线系统使用,提供服务开发和运行框架开放服务开放服务基于统一的元数据服务来提供数据资源管理 视图数据管理数据管理数据服务能力计算&存储能力*X X 大数据的系统能力基于O D P S 的大数据开发,支持S Q L、M数据处理能数据处理能力力-超大规模的离线计超大规模的离线计算算WebSDKIDEConsoletunnelUMMCacheSLBWorker 1Worker 2Worker nScheduler.ExecutorExecutorExecutor.存储调度协作储存调度协作存储调度协作
6、存储调度协作.Cluster1Cluster2Cluster3Cluster n客户端接入层调度 集群计算 集群开放数据处理服务ODPS (Open Data Processing Service)万亿级数据JOIN,百万级job并发,每天PB级I/O吞吐支持单集群10000+节点,同时具备跨集群(机房)数据共享能力*内置数据挖掘算法库,快速实现分布式并行计 算提供功能强大易用的SQL、MapReduce引擎,兼容大部分标准SQL语法数据处理能力-超大规模的离线计算We b S D K I D E C o n s o数据处理能数据处理能力力-千亿千亿级级规模实规模实时时OLAP分分析析负载均衡
7、接入服务(MySQL/REST/)数据节点消息节点升级管理飞天安装部署日志管理资源管理 数据库管理数据管理 节点管理DBConsoleZookeeper账号 体系分析数据库服务ADS (Analytic Database Service)千亿级数据的毫秒级多维透视,毫秒级的多 个大表关联计算简单易用,通过SQL方式对数据进行多维分 析、数据透视及数据筛选支持多租户的使用场景,同时满足多用户协 同、数据共享、数据保密和安全需求支持ACL授权、policy授权、角色授权、跨 project app授权等多种权限管理方法,所有 操作记录审计日志*数据处理能力-千亿级规模实时O L A P 分析分析数
8、据库服务A D S数据集成能数据集成能力力-跨平台的异构跨平台的异构数数据据整整合合ORACLEMysqlODPSCDPOthersSqlServerOSSOTSHBasePostgreSql半结构化 弹性伸缩 的传输通道四通达 的数据链路强劲迅速 的同步能力可靠健壮 的安全保障TXT*数据集成能力-跨平台的异构数据整合O R A C L E My s q l O D数据开发能数据开发能力力-集成数据开集成数据开发发环环境境数据开发工 作台数据分析工 作台数据挖掘工 作台OLAP工作台管理 工作台功能层功能层离线计算 ODPS实时计算 ADS流式计算 OSPS数据同步 CDP数据库 RDS/D
9、BMSworkflow消息服务元数据服务权限服务调度服务业务无关,服务化、开放性服务层服务层执行层执行层*数据开发能力-集成数据开发环境数据开发工 作台数据分析工 作数据开发能数据开发能力力-集集成成的数据开发环的数据开发环境境提供Web IDE编程和调试环境,支持多种程序类型:ODPS SQL、PL、M/R、XLIB、数据同步、数据 脱敏、数据服务、状态检测等一键发布,快速将程序部署到生产调度系统。系统 可根据程序代码自动解析出任务节点间的依赖关系团队开发:代码版本管理,代码分类管理,多人协 同模式下的代码锁管理和冲突检测机制提供Eclipse 插件用于M/R和UDF编程,并且与 Web I
10、DE 紧密集成提供ODPS表搜索、数据查询功能,用户可轻松touch 数据提供代码扫描规则引擎,支持用户编程实现各类扫 描规则*数据开发能力-集成的数据开发环境提供We b I D E 编程和调试数据开发能数据开发能力力-数据仓库建数据仓库建模模指指标标管管理系统理系统,对业务数据进行标准 化定义*物物 理理 模模 型型 设设 计计,类 似 PowerDesigner工具,用户可对ODPS表进 行可视化设计(同时也兼容DDL编辑模式)。设计稿与ODPS真实表可以 双向同步逻辑模型设计逻辑模型设计,支持数据流图、ER 图、字段mapping等功能数据开发能力-数据仓库建模指标管理系统,对业务数据
11、进行标准 数据开发能数据开发能力力-百万级生产百万级生产作作业业调调度度执行引擎调度API平台DB调度引擎IDE部署服务客户端调度系统可支撑的job数量达到百万级执行框架采用分布式架构,并发作业数可线性扩展支持多种调度周期:分钟、小时、日、周、月、季 度、年。支持跨周期依赖支持节点空跑、暂停、一次性运行等特殊状态控制可视化展示调度任务DAG图,极大地方便用户对线 上任务进行运维管理支持任务运行状态监控告警,支持单任务重跑、多 任务重跑、kill、重置成功、暂停等操作支持线上冒烟测试支持补数据(串行执行多周期实例)*数据开发能力-百万级生产作业调度执行引擎调度A P I 平台D B 调数据管理能
12、数据管理能力力-数据质数据质量量监控系监控系统统数据质量监控服务DQC(Data Quality Center)覆盖数据采集清洗监测、数据加工处理监测、数据 质量规则优化全过程,形成线上质量监控闭环预置30种以上的模板规则,覆盖波动率、一致性、离散值、业务逻辑、缺失值、约束检查等零延时的统计数据采集模块(数据落地,校验即完 成)、多级容错、缓存,系统更加稳健支持标准SQL形式的自定义规则,任意复杂度,可 任意扩展;智能阈值算法,给用户合理的建议阈值数据质量管理流程源数据源数据OEA D MCDDDL 数据加W工流水M线洗洗持续改进持续改进1 源表清源表清2 数据质量监控数据质量监控3在线处理监
13、控报警在线处理监控报警54 监控效果分析监控效果分析优化清洗规则优化 监控规则线上质量监控闭环线上质量监控闭环*数据管理能力-数据质量监控系统数据质量监控服务D Q C 预置3 0数据管理能数据管理能力力-任务监控告任务监控告警警系系统统任务监控告警智能预测算法,提前预警,防患于未然。根据 余量和当前时间(是否工作时段)选择报警时机)智能告警系统,零人工干预,精准告警推送。可配置多种告警方式,电话、短信、邮件、IM可设置告警策略,包括告警时段、间隔、持续 时间支持标准SQL形式的自定义规则,任意复杂 度,可任意扩展;智能阈值算法,给用户合理 的建议阈值强保障模式弱保障模式任务A任务B任务C任务
14、出错时 通知责任人任务B任务C1任务C2任务D1任务D2任务AAM 6:00前必须完成AM 5:00前必须完成智能预测 精准通知 持续告警 告警升级*数据管理能力-任务监控告警系统任务监控告警智能预测算法,提前TAE开放服务能开放服务能力力架构架构组件化、服务化设计理念,分为三层:核心层:称为BASE CORE,包含BASE的基础模块API层:BASE的基础模块提供服务 化API,以支撑客制化开发和对接 第三方系统插件层:UI和业务流程相关的功 能,可插拔,根据业务场景定制IaaS设备数据同步插件 UI插件代码管理插件Web APP开发&发布安全中间件发布中间件DMDCBI引擎接入开放平台租户
15、管理数据开发应用开发安全产品计量计费数据管理安全控制运维管理RDSODPSADS数据总线消息&事件中心 服务化框架API核心层计算服务层云资源OTS*插件层TAET A E 开放服务能力架构组件化、服务化设计理念,分为三层:统一运维中心统一运维中心用户账户 体系成员管理员账户普通账户平台运营者项目所有者项目管理资源管理监控指定项目所有者被指定为项目所有者数据开发者 数据提供者数据授权数据交换加入项目的 普通账户加入项目开发人员被加入项目数据开发者数据开发*统一运维中心用户账户 体系成员管理员账户普通账户平台运目录*公司介绍 成熟大数据平台要素 XX大数据解决方案 XX大数据产品详解 方案实践目
16、录*公司介绍数据处理能数据处理能力力-超大规模的离线计超大规模的离线计算算开放数据处理服务ODPS (Open Data Processing Service)万亿级数据JOIN,百万级job并发,每天PB级I/O吞吐支持单集群10000+节点,同时具备跨集群(机房)数据共享能力内置数据挖掘算法库,快速实现分布式并行计 算提供功能强大易用的SQL、MapReduce引擎,兼容大部分标准SQL语法Pangu:分布式文件系统DataTransferSQL QueryMapReduce结构化数据非结构化数 据流式数据数据 接口RDS/DRDSODPSOTS:大表数据查询数据接入:DataX/Time
17、TunnelAPISQLAPISQL批量数据处理批量数据处理*自助式数据分析自助式数据分析海量数据实时查询海量数据实时查询流式数据实时处理流式数据实时处理非结构化数据分析非结构化数据分析数据处理能力-超大规模的离线计算开放数据处理服务O D P S ODPS的优势的优势*海量数据的存储存储只有大量的数据是不够的,还要将数据集中起 来才能更好的发挥作用海量数据的计算计算通过SQL,MR,Graph等方式,可以在一个任务 中轻松处理TB级别的数据,并且有专门的分布式 矩阵运算、数据挖掘算法流式处理引擎及实时数据分析多组织间的数据交换交换不仅能满足一个组织内部的数据管控,也能用 于多个组织间的数据隔
18、离和交换开箱即用的服务服务用户不用关注基础设施管理而是关注自己业务 内容,ODPS本身提供各服务的一致性与连续性 O D P S 的优势*海量数据的存储海量数据的计算多组织间的ODPS核心抽象核心抽象*User/Role,用于管理用户对Project内实体的访问控制和授权Project 类似DataBase/Schema,用户隔离和访问控制的主要边界 Table/Partition,结构化数据 Volume,非结构化数据 UDF/Resource,文件,jar包,py脚本 Job/Instance,抽象可执行实体和运行实例 Tunnel upload/download会话 Event,表删除/
19、修改等事件O D P S 核心抽象*U s e r/R o l e,用于管理用户对P r o j用户与权限用户与权限*添加用户 ADD USER ;罗列用户 LIST USERS;删除用户remove user ;用户与权限*添加用户 罗列用户 删除用户用户与权限用户与权限*授权命令示例:grant CreateTable on PROJECT$user_project_name to U S E R ;-向授予名为“$user_project_name”的project的 CreateTable(创建表)权限 grant Describe on Table$user_table_name t
展开阅读全文