数据交换平台的设计方案课件.ppt

1、数据交换平台的设计方案，架构方案，总体建设思路整体解决方案 目录 2 平台简介 功能介绍 典型案例 三 二 一 平台简介 3 3 总体目标：提供企业级复杂环境下异构信息系统间数据共享、集成、融合的整体解决方案 总部 子公司 系统B 系统A 子公司 系统B 系统A 子公司 系统B 系统A 1. 系统间文件传输 2. 数据库数据抽取、转换、装载 3. 系统间高频消息通信 4. 数据库准实时同步复制 5. 应用接口服务注册、转换、编排、管理 平台简介 4 海迅数据交换平台简介 海迅数据交换平台（HSP-EXG）旨在提供复杂环境下、异构系统间企业数据孤岛问题的一体化解决方案。平台集合了业内主流的数据交

2、换产品功能，提供ETL、ESB、MQ、文件传输、数据库同步复制等产品的整体功能实现，各组件能够按照需求组合或裁剪，从而一次性满足中大型企业各类型数据集成共享需求，并进行统一的数据交换监测与管理。平台主要包括五大子系统： 批量数据总线子系统（HSP-EXG-ETL ）作为中间件实现将数据从源端经过抽取、转换、加载至目的端，主要提供系统间基于文件的交换功能以及数据库间的批量数据交换功能。支持TB级文件交换，GB级数据库数据交换。 即时数据总线子系统（HSP-EXG-MQ）实现了满足JMS1.1规范面向系统间消息型数据交换的中间件，用于在应用程序之间或分布式系统中互发消息，进行高效异步通信，一般用作

3、企业级数据集成通信总线。支持30000条/秒的高频度点对点、一对多消息通信。 数据库同步复制子系统（HSP-EXG-Sync ）实现基于数据库日志的同步复制功能，主要用于oracle数据库的主备式灾备、读写分离、数据迁移。系统保障数据的事务性，支持秒级数据库准实时同步。 服务集成总线子系统（HSP-EXG-ESB ）基于SOA思想，实现对企业接口服务的协议转换、注册/发布、编排、管理，帮助企业对繁杂的应用服务接口进行统一标准、分类管理、集成共享。 统一监测子系统（HSP-EXG-MS ）对平台各组件提供统一的可视化状态监测、统计分析、告警、报表导出等功能。以全局视图方式展示企业数据集成情况以及

4、数据流向。 SG-UEP一期成果介绍 5 5 上级单位 下级单位 协同办公 营销系统 协同办公 营销系统 ERP ERP 数据中心 数据中心 SG-UEP SG-UEP 横向数据交换 横向数据交换 纵向数据交换 统一监测 SG-UEP 两级部署 批量 消息 同步 服务 批量 消息 同步 服务 典型解决方案典型解决方案 平台简介 6 6 整体功能架构 平台简介 7 技术特点技术特点 分布式高可靠文件传输； 数据库数据抽取、转换、传输、装载； 基于数据库日志的低延迟、低影响同步复制； 高性能分布式企业级消息中间件； 面向服务的企业级服务集成总线。 客户价值客户价值 一体化企业数据交换解决方案； 统

5、一企业业务系统数据交换标准； 简化应用集成技术复杂度； 集中管理与共享企业接口服务资产； 提高企业应用集成共享水平； 目录 8 平台简介 功能介绍 典型案例 三 二 一 功能介绍 9 9 1 1、批量数据总线子系统介绍、批量数据总线子系统介绍 批量数据总线子系统（HSP-EXG-ETL）主要实现将批量数据从源端经过抽取、转换、加载至目标端的功能，主要提供系统间基于文件的交换功能以及数据库间的数据交换功能。系统支持对oracle、mysql、db2等主流数据以及excel等常见文件的数据抽取，在交换过程中可以对数据进行合并、拆分、转换、筛选、过滤等处理。批量总线子系统可以单机部署，为局域网第三方

6、应用系统提供批量数据交换服务，也可以随平台进行分布式部署，交换节点部署于企业多个上下级部门，贯穿组网形成通信网络，为企业提供横纵向批量数据交换服务。 应用程序 第三方系统（源端） 数据库 文件 应用程序 第三方系统（目标端） 数据库 文件 交换节点 交换节点 交换节点 批量数据总线（单机 /组网） 数据传输 功能介绍 10 10 运行原理运行原理 批量数据总线子系统（HSP-EXG-ETL）由引擎节点 、管理服务器、管理工具、集成接口组成，主要完成两大类工作：面向文件的分布式高可靠路由分发传输；面向数据库的数据抽取、转换、传输、装载。 管理服务器对多个引擎节点进行管理，用户通过管理工具连接到管

7、理服务器进行图形化开发管理，管理服务器将用户开发的服务/流程下发到涉及的引擎。引擎分布式部署在不同机器上，他们按照服务/流程信息相互协作对数据在各节点上进行抽取、转换、传输、装载等处理以完成数据交换任务。第三方系统通过平台提供的API、URL、定时调度等方式调用总线上配置好的服务或流程完成数据交换任务。 管理工具 管理工具 管理工具 管理服务器 http xml 引擎/节点 引擎/节点 引擎/节点 第三方系统 集成接口 URL/定时 服务 文件传输 数据库数据抽取 数据清洗、转换、过滤 数据库数据装载 流程编排 功能介绍 11 性能性能 1. 单节点最大配置数据交换流程2000个； 2. 单节

8、点并发交换数500； 3. 单节点数据吞吐率 40M/秒； 4. 结构化数据加工速度 3000行/秒； 5. 系统资源平均消耗不大于50%； 6. 支持对TB级数据进行数据交换。 以上指标在以下测试环境测得： 服务器（CPU 8核2.20GHz；内存 48G；64位Windows），网络（1000Mbps），数据库（oracle 11g）。 12 12 基于文件的批量数据传输 文件、文件夹传输； 模糊匹配多文件传输功能； 对文件的压缩、加密传输； 断点续传功能； 数据的完整性检查及差错校验； 多任务并发传输； 文件变化传输机制（增量传输）； 文件传输后删除、备份功能； 节点间一对多、多对一传输

9、； 同步/异步传输机制； 可视化配置与FTP系统集成； 数据整合功能 常见数据库数据抽取、装载； 动态SQL、变量数据抽取； XML/ Excel文件数据抽取； 数据库表条件路由传输； 字段逻辑检查； 数学运算支持； 字段拆分、合并； 数据类型转换； 数据内容转换； 数据清洗； 高效私有格式转换； 前置、后置处理； 功能介绍功能介绍 13 13 调度与管理调度与管理 API调度触发交换任务； URL调度触发交换任务； 管理工具手动触发交换任务； 定时调度触发交换任务； 图形化开发与配置； 数据库接口管理； 节点管理； 服务/流程管理； 状态和过程监控； 功能介绍功能介绍 14 14 界面效果-

10、节点配置 批量数据总线截图批量数据总线截图 功能介绍功能介绍 15 15 界面效果-数据整合 功能介绍功能介绍 16 16 界面效果-推送服务 功能介绍功能介绍 17 17 界面效果-流程配置 功能介绍功能介绍 18 18 2、即时消息总线子系统介绍 即时消息总线子系统（HSP-EXG-MQ）实现了满足JMS1.1规范面向消息型数据交换的中间件，用于在应用程序之间或分布式系统中互发消息，支持高达30000条/秒的高效异步通信。本系统一般用作企业级高性能数据集成总线，通信应用不需要知道彼此物理位置使得应用集成实现松耦合，不需要知道彼此间怎样建立通信从而简化应用底层通信复杂度，不需要同时处于运行状

11、态由总线保障消息的可靠到达，不需要在同样的操作系统或网络环境下运行实现跨平台跨系统通信。系统支持一对一、一对多、请求应答三种通信模式，提供了java、c/c+等常见编程语言的API。系统节点可以单机部署，也可以分布式多级部门部署并组网形成横纵向数据交换网络。 功能介绍功能介绍 应用系统 第三方系统（接收端） Broker节点 Broker节点 Broker节点 即时消息总线（单机 /组网） 数据传输 API 第三方系统（发送端） 应用系统 API 19 运行原理运行原理 即时消息总线子系统（ HSP-EXG-MQ ）由交换节点、监管系统、 API组成，实现了满足JMS1.1规范面向系统间消息型

12、数据交换的中间件，旨在为局域网/广域网环境下的应用系统提供高效、稳定、透明路由和安全的企业级消息通信总线，以满足企业异构系统高效数据集成需求。 交换节点可单独部署也可以分布式部署，监管系统统一对个节点进行管理分配队列资源，节点程序根据监管系统的配置进行组网通信与消息路由，第三方系统通过API向指定队列发送消息，符合路由规则的消息将会被路由到其它节点供接收消费。 系统B 系统D 交换节点a 队列1 队列2 队列2 交换节点b API API 级联组网 路由规则 系统A API 流量控制 流量控制 监管 系统 配置文件 功能介绍功能介绍 功能介绍 20 20 性能性能 1. 系统非持久化异步消息发

13、送总吞吐80000条/s； 2. 系统非持久化同步消息发送总吞吐40000条/s； 3. 系统持久化异步消息发送总吞吐40000条/s； 4. 系统持久化同步消息发送总吞吐20000条/s； 5. 单线程非持久化异步消息发送 20000条/s； 6. 单线程非持久化同步消息发送 4000条/s； 7. 单线程持久化异步消息发送 3000条/s； 8. 单线程持久化同步消息发送 1500条/s； 9. 系统总吞吐量 80MB/s。 以上指标在以下测试环境测得： 服务器（CPU 8核2.20GHz；内存 48G；64位Windows），网络（1000Mbps），消息大小 500字符。 21 21

14、支持的消息类型 BytesMessage 字节流 ObjectMessage 可序列化的对象 TextMessage 字符串 StreamMessage 原始数据流 MapMessage key/value映射map 消息交互功能 点对点模式 发布/订阅模式 持久化/非持久化 同步发送（可靠性高） 异步发送（吞吐量大） 请求应答（应用层同步） 事务支持 安全认证 多消费者负载 消息分组 消息过滤 消费者优先级设置 增强特性 广域网多节点级联组网 消息路由透明通信 流量控制防阻塞 分布式统一监管 统一授权 资源监测 即时消息总线功能 功能介绍功能介绍 业务应用服务器 22 3、同步复制子系统介绍

15、 同步复制子系统（ HSP-EXG-Sync ）实现了基于 oracle数据库日志解析的低延迟、非侵入式同步复制功能，当源库发生变化时系统将通过解析数据库日志（而不是访问数据库，对源数据库性能影响小）识别变化并将变化同步到目标库，从而实现oracle数据库的秒级同步复制。系统保证数据的事务性，支持全量、增量同步方式，主要用于灾难情况下的数据库准实时备份、高压力情况下数据库的读写分离 /负载均衡、以及数据共享数据分析的数据同步。系统源端支持oracle数据库，目标端支持 oracle、mysql、db2等常见数据库。 功能介绍功能介绍 应用程序 业务数据库服务器 灾备数据库服务器 oracle

16、常见数据库 复制节点 复制节点 业务应用服务器 应用程序A 业务数据库服务器 灾备数据库服务器 oracle 常见数据库 复制节点 复制节点 应用程序B 写 读 23 3、同步复制子系统介绍 同步复制子系统（ HSP-EXG-Sync ）实现了基于数据库日志的低延迟、低影响、高效率的同步复制功能，可准实时完成数据库灾备、读写分离。 数据库使用本系统建立复制关系后，系统日志分析进程将实时对数据库日志进行监听、解析，当业务系统对源数据库进行操作后，日志分析进程识别出需要复制的数据进行临时存储为jsonfile，然后调用发送进程将数据传输到目标端，目标端接收到数据后进行适当处理装载到目标库。 功能介

17、绍功能介绍 24 系统功能 基于数据库日志解析 多任务并发复制 断点续传 数据加密安全传输 缓存队列传输 并发多线程装载 异构数据库DML装载 支持分布式数据库 保证数据库事务一致性 支持JDBC装载 支持常见主流操作系统 业务功能 数据库读写分离 数据库双向同步 数据库数据分发 数据库级联同步 常见数据库支持 数据过滤 全量同步复制 增量同步复制 准实时同步复制 对源库低影响 准实时同步复制 可视化监测 同步复制子系统功能 功能介绍功能介绍 25 常见实施方案 功能介绍功能介绍 26 4、服务集成总线子系统介绍 服务集成总线（ HSP-EXG-ESB ）作为企业网络中最基本的连接中枢，是构筑

18、企业神经系统、提高企业服务重用性的必要元素。基于 SOA思想，实现对企业接口服务的协议转换、注册/发布、编排、管理、标准化，帮助企业对繁杂的应用服务接口进行标准化与重用、分类管理、集成共享。采用“总线”模式管理和简化应用之间的集成拓扑结构，以广为接受的开放标准为基础来支持应用之间在事件和服务级别上动态的互连互通，是一种在松散耦合的服务和应用之间标准的集成方式。系统可以单套部署，也可以在企业上下级进行跨地域分布式组网部署，互联互通。 功能介绍功能介绍 服务集成总线 服务注册 /发布 协议转换 服务编排 服务管理 服务质量监测 业务系统 1 发布服务 业务系统 2 发布服务 业务系统 3 发布服务

19、 业务系统 n 发布服务 业务系统 A 消费服务 服务查询 业务系统 B 消费服务 业务系统 C 消费服务 业务系统 x 消费服务 服务集成总线 级联 27 运行原理运行原理 服务集成总线（ HSP-EXG-ESB ）提供了级联式基于服务调用的接口服务集成平台，主要提供了服务注册、服务编排、协议接入 /接出、协议转换、服务转换、服务路由等功能。服务集成总线采用SOA松耦合的思想来进行企业服务的集成，通过灵活的服务接口和适配器方便不同协议、不同报文格式的应用接口的集成，并提供松耦合、效灵活的设计架构，方便未来系统接口的扩展。 功能介绍功能介绍 业务系统1 业务系统n 服务集成总线 http jm

20、s socket 其他 http jms socket 其他 协议接出 协议接入 协议转换 服务路由 服务转换 SOAP JSON XML txt Hessian HL7 其他 服务注册 1 5 6 调用对应服务 服务消费者 2 服务请求 3 服务注册 1 可视化开发、管理、监测 业务系统2 服务注册 1 28 服务集成 服务管理 服务运行监控 ?协议适配（接出/接入） ?协议转换 ?JMS ?HTTP ?Webservice ?UDP/TPC ? ?服务转换 ?服务编排 ?服务路由 ?静态路由 ?动态路由 ?服务级联 ?服务异常处理 ?服务注册 ?服务目录管理与服务查询 ?服务访问权限控制

21、?服务访问流量控制 服务器管理 ?服务部署 ?服务器管理 ?集群管理 ?服务运行统计 ?服务运行查询 ?接口运行诊断（服务运行耗时排名） ?接口运行检索（拦截查看请求响应报文） ?服务日志分析 功能介绍功能介绍 功能介绍 29 29 性能性能 1. Http协议穿透代理事务数14000次/s，响应时间0.005s； 2. WebService协议穿透代理事务数7000次/s，响应时间0.03s； 3. JMS协议穿透代理事务数20000次/s，响应时间0.007s； 4. http与WebService协议转换处理事务数7000次/s，响应时间0.04s； 5. http转jms协议转换处理事

22、务数11000次/s，响应时间0.02s； 6. WebServicee转jms协议转换处理事务数11000次/s，响应时间0.02s。 以上指标在以下测试环境测得： 服务器（CPU 8核2.20GHz；内存 48G；64位Windows），网络（1000Mbps），用例300并发。 30 业务场景业务场景-服务注册 30 在线工具 Excel模板生成 权限管理 系统权限 应用权限 运行统计 统计综合查询 软件资产管理 接口注册管理 系统IP地址管理 资产审计管理 上线部署管理 资产管 理者 资产 提供者 资产 调用者 用户通过服务注册功能对企业接口服务、数据模型等软件资产通过一定的管理流程进

23、行集中管理 软件服务资产的注册管理在SOA体系下至关重要，其中接口服务资产的集中管控使得“资产状况透明化”从而有效支撑集成架构的部署价值 调用关系管理 软件资产统计管理 部署管理 变更历史查询 注册审计 报文审计 调用审计 审计任务管理 接口运行统计 接口运行诊断 接口运行检索 Excel格式校验 在线比对工具 功能介绍功能介绍 31 业务场景业务场景-服务编排 提供图形化的服务编排设计工具，可以可视化的配置服务调用、处理等过程，从而更容易完成服务的编排，利用已有服务接口编排产生符合需求的新服务接口。 ?动态消息路由 ?异常处理机制 ?复杂业务运算 ?垃圾消息过滤 功能介绍功能介绍 32 5、

24、统一监测子系统介绍 统一监测子系统 批量数据总线子系统 即时数据总线子系统 数据库同步复制子系统 服务集成总线子系统 采集器 采集器 采集器 采集器 数据收集 统计分析 数据存储 报表生成 图形化展示 远程连接 统一监测子系统（ HSP-EXG-MS ）实现了对海迅数据交换平台各子系统的远程运行数据采集、运行状态分析、图形化展示、报表生成、异常告警等功能，能够直观的展现平台各子系统的运行状况、业务系统交换关系、交换数据量等，为企业针对数据交换、服务集成、数据库同步复制提供了统一的监测管理实现。 告警 功能介绍功能介绍 33 33 系统管理 分级授权 三权分立控制 告警配置 统一监控与全景展示

25、系统基本信息采集 全局分析概况 地图动态信息 服务器集中监测展示 服务器资源监测 节点信息监测 组件运行情况监测 日志查询 告警功能 报表导出 异常告警 智能分析 峰值分析 接入信息统计 交换数据量/频度统计 系统热度统计 系统健康度分析 关联度分析 统一监测子系统功能 功能介绍功能介绍 34 34 统一监测-全局监测 功能介绍功能介绍 35 35 统一监测-资源监测 功能介绍功能介绍 36 36 统一监测-远程配置查看 功能介绍功能介绍 37 37 统一监测-远程日志分析 功能介绍功能介绍 目录 38 平台简介 功能介绍 典型案例 三 二 一 典型案例 业务系统 ODS ODS DXP DX

26、P 营销 协同办公 营销 协同办公 总部 省(市) WS/HTTP WS/HTTP 业务系统 企业服务总线 企业服务总线 1 2 3 BW ETL平台 DB连接 DB连接 ETL平台 GIS 非结构化平台 GIS 非结构化平台 5 WebService WebService 海量平台 海量平台 4 1 6 OGG Queue ERP BW ABAP ERP BW ABAP 国家电网公司统一数据交换国家电网公司统一数据交换 1、公司业务系统庞多，公司跨地域子公司较多，业务系统分布在不同地理位置； 2、业务系统间集成方式繁多，技术实现不统一，缺乏统一设计和管控； 3、缺少基于文件传输的批量数据总线

27、； 4、现有数据交换能力有限； 5、数据集成方式定位不清晰、使用不规范、分工不明确； 6、国产化不足，自主可控能力薄弱； 7、需要一体化的数据交换系统完成业务系统间的集成与共享，并提供统一的管理、控制、分析功能； 40 基于数据交换现状，国网启动了统推项目 统一数据交换平台项目 ，主要通过我公司海迅数据交换平台实现。需要交换的数据主要包括大中小三种类型的数据横纵向交换，其数据量递减，实时性要求递增。 其中大批量数据（ GB-TB）一般为数据库表到表交换或文件到文件交换，对实时性要求低但是数据量大，使用 HSP-EXG批量数据总线完成； 中量数据（ MB-GB）对实时性要求一般，其中实时性要求低

28、的使用批量数据总线完成，实时性要求稍高的使用即时消息总线完成；实时要求高的数据库同步需求使用同步复制子系统完成； 小量数据（ KB-MB）对实时性要求较高，使用 HSP-EXG消息总线完成，消息总线支持双向即时通信； 服务集成共享类需求使用服务集成子系统提供统一的接口服务注册与管理，基于SOA理念解耦系统间集成耦合性，提高公司应用系统接口服务共享质量与可管理性。 为满足国网横纵向数据交换需求，设计在总部、省公司各部署HSP-EXG两套，一套负责纵向交换，一套负责横向交换，从而将横纵向数据交换完全打通。 基于HSP-EXG的解决方案 典型案例典型案例 统一权限目录数据中心统一数据交换平台批量数据

29、总线即时数据总线流媒体数据总线数据库同步复制ETL服务集成总线统一管理统一监控统一调度统一部署统一运维非结构化结构化海量准实时人力资源财务管理物质管理大规划大建设地理信息大检修大营销大运行电网统一视频产业业务管理国际业务管理协同办公综合管理.统一账号组件统一验证组件统一授权组件统一审计组件统一流程平台流程建模组件流程监控组件流程标准库流程管理组件集成共享统一权限目录统一数据交换平台统一流程平台集成共享业务应用 /数据中心业务应用消息文件表同步复制服务调用表抽取与转换视频流总部省（市） /三中心消息 /服务视频流 /消息数据库表/文件国网统一数据交换平台架构 典型案例典型案例 42 42 逻辑部署图逻辑部署图 总部 地方公司 协同办公 营销系统 协同办公 营销系统 ERP ERP 数据中心 数据中心 HSP-EXG 横向交换 横向交换 纵向交换 统一监测 SG-UEP 两级部署 批量 消息 复制 集成 HSP-EXG 批量 消息 复制 集成 典型案例典型案例 43 物理部署图 典型案例典型案例 汇报完毕 感谢聆听