华为FusionInsight-LibrA-2.8-技术主打胶片.pptx

1、华为FusionInsight-LibrA-2华为FusionInsight LibrA 技术主打胶片 华为大数据营销团队2018-04-12目录l数据库的发展线路图 lFusionInsight概述lFusionInsight LibrA基础功能介绍 lFusionInsight LibrA的竞争力特性lFusionInsight LibrA的典型场景 lFusionInsight LibrA的规划数据库发展历史System R1973-1977DB21983-SDL1977-1979System R1980-1982数据库关系理论1970 F.CoddRSI1979-1983ORACLE1

2、983-ORACLEExadataDB2 9.7兼容OracleTeradata1983-NCR1990-Teradata2009-关系型数据库发展谱系MySQL1994-SkySQL2010-MariaDB2009-7080902010MySQL5.52009Postgres951995-Ingres项目1974-Michael StonebrakerIngres1982-Informix1984-Sybase1984-MSSQL1992-Postgresql1997-Vertica2005-Greenplum2003-Netezza1999-Informix UEMSSQL 2012Syb

3、ase ASEAsterDB2007-开源数据库之祖关系型数据库之祖BSDApacheGPL2012Gauss MPPDB2012FusionInsight MPPDB2014FusionInsight LibrA2017DWS2017闭源闭源云服务AWS、Aliyun、HEC一脉相承生态兼容，内核自研与LibrA对标的主流数据库厂家技术路线7080902010BSDApache2012闭源闭源SDL1977-1979数据库关系理论1970 F.CoddRSI1979-1983ORACLE1983-ORACLE Exadata x1x62008Teradata1983-NCR1990-Tera

4、data2009-Postgres951995-Ingres项目1974-Michael StonebrakerIngres1982-Postgresql1997-Vertica2005-Greenplum2003-开源数据库之祖关系型数据库之祖ORACLE Exadata x72017软硬件一体机，共享磁盘架构，最大支持8机柜x8计算节点。从x6开始主推Oracle Exadata数据库云平台技术特点：技术特点：开放平台开放平台，基于x86平台构建，无硬件lock-in无共享架构易扩展:并行分布式计算并行分布式计算：MPP并行架构，分布式SQL执行支持列存：支持列存：专为数据分析而设计的数据

5、库存储引擎SQL on Hadoop：支持通过SQL访问HDFS上的数据趋势：趋势：云化，与Hadoop互通，企业级内核，更大的集群规模FusionInsight LibrA2012领头羊，一体机封闭架构，昂贵，聚焦世界500强企业FusionInsight LibrA 在行业中的位置实时性&可靠性要求低传统OLTP数据库高MPP数据仓库HP Vertica IBM PureDataTeradata FusionInsight LibrAGreenplumGBase云服务Amazon RedshiftAliyun HybridDBHuawei DWS 大数据混合型场景Oracle Exadat

6、a数据量小的情况下，OLTP数据库用于构建数仓FusionInsight LibrA发展历程技术演进技术演进市场进展市场进展MPP架构行存储HA机制分布式框架20122012年年20132013年年 极致性能：列存向量化引擎、高级压缩、LLVM、智能优化器 高扩展：大集群通信技术、在线扩容、弹性伸缩、SQL on LocalDisk/HDFS 高可靠：全组件HA、动态负载管理、故障检测 易用性和生态：Data Studio SQL编辑工具、Migration Tool、多租户20142014年年20172017年年 极致性能：智能优化器 高扩展：在线扩容、SQL on LocalDisk/HD

7、FS 高可靠：CRC故障检测 易用性和生态：多租户、快速升级、Migration Tool、NodeGroup多业务统一管理原型开发与技术验证在5050+客户成功商用：金融（工行融合数仓）、平安城市项目、运营商（辽宁移动经分项目）等全球商用。已在金融、平安城市、电信领域广泛应用LibrA 2.8刷新FusionInsight LibrA在全球50+客户成功商用市场市场进展进展：金融、平安城市、运营商、电商、能源、电力等场景两两类场景类场景：企业数据仓库和数据集市场景，样板项目包括平安城市大数据项目、银行融合数据仓库项目、运营商经分项目、详单分析项目等。关键关键客户：客户：中国工商银行（全球市值

8、最大商业银行）中国移动（全球最多用户数的运营商）中国某省平安城市项目华为Vmall商城沃达丰子网凭借在电信领域的积累，华为凭借在电信领域的积累，华为FusionInsight LibrAFusionInsight LibrA在海外在海外成功拓展，已在菲律宾成功拓展，已在菲律宾PLDTPLDT，沃达沃达丰子网等客户实现商用丰子网等客户实现商用上线。上线。菲律宾中国肯尼亚莫桑比克坦桑尼亚刚果民主共和国印度尼西亚党张波：海外的项目，是OceanStor N9000转售Gauss200 OLAP的时候销售的，当时是Gauss200 OLAP V1R3版本，咱现在最新是V1R7了，品牌不是FusionI

9、nsight。从产品能力上来说LibrA肯定能Cover，没用LibrA收编是商务的原因。只能替换，技术上不支持升级。目录l数据库的发展线路图 lFusionInsight概述lFusionInsight LibrA基础功能介绍 lFusionInsight LibrA的竞争力特性lFusionInsight LibrA的典型场景 lFusionInsight LibrA的规划大数据是华为ICT战略的重要支柱Source:Huawei corporate presentation 华为公司战略地图华为大数据研发全球配置全球8个研究所，保持千千人人+的规模投入拥有PMC/Committer、IE

10、EE Fellow等世界级数据挖掘和人工智能专家Professional ServiceBig Data Analytics PlatformData Center InfrastructureCore NetworkIP+OpticalFBBEnterprise NetworkMBBThings(M2M Module)People(Smart Device)EnterpriseAppsSDPBSS/OSS3rdPartnersContent&App3rd ISVsFusionInsight平台架构：分层解耦开放数据接入数据接入LoaderSqoop批量采集批量采集 Flume实时采集实时采集

11、 Oozie作业调度作业调度Kafka消息队列消息队列FtpOnHDFS文件传输文件传输 电信行业金融行业政务行业安平行业管理平台管理平台Manager租户管理租户管理配置管理配置管理故障管理故障管理性能管理性能管理安全管理安全管理 大数据服务大数据服务大数据服务AI平台平台算法调度引擎算法调度引擎算法算法仓库仓库深度深度学习学习DataIDE数据集成开发工具数据集成开发工具DataCubeLibrAMPP DB并行数据库并行数据库数据处理数据处理 HDHDFS 分布式文件系统HBase Spark 批处理框架Elk标准SQL引擎Flink 流处理框架YARN 资源管理ES搜索搜索Carbon

12、Data 新型文件格式协同计算（协同计算（co-computing）Tagram图引擎DerechoOLTP并行数据库并行数据库标签标签引擎引擎行业分析引擎行业分析引擎关系关系引擎引擎轨迹轨迹引擎引擎实时决策实时决策引擎引擎Miner StudioRDS(3rd)DWSDerecho服务目录l数据库的发展线路图 lFusionInsight概述lFusionInsight LibrA基础功能介绍 lFusionInsight LibrA的竞争力特性lFusionInsight LibrA的典型场景 lFusionInsight LibrA的规划Data Node-1CoordinatorNod

13、e-nLocal-DiskData Node-2Local-DiskData Node-3Local-DiskData Node-nLocal-Disk业务应用2CMGTMWLMCoordinatorNode-2OMGDS LoaderCoordinatorNode-1OMCMGTMWLMCoordinatorData NodeStorageGDS Loader软件逻辑架构：无共享架构，按需横向扩展x86服务器，实现海量数据高性能SQL分析业务应用1网络通道（10GE）性能SQL和兼容性架构Data Node-1CoordinatorNode-nLocal-DiskData Node-2Loc

14、al-DiskData Node-3Local-DiskData Node-nLocal-Disk业务应用2CMGTMWLMCoordinatorNode-2OMGDS LoaderCoordinatorNode-1业务流向图业务应用1网络通道（10GE）123451业务应用下发SQL给Coordinator，SQL可以包含对数据的增（insert）、删（delete/drop）、改（update）、查（select）。2Coordinator利用数据库的优化器优化器生成执行计划，每个DN会按照执行计划的要求去处理数据。3因为数据是通过一致性Hash技术均匀分布在每个节点，因此DN在处理数据的

15、过程中，可能需要从其他DN获取数据，LibrA提供了三种stream流（广播流、聚合流和重分布流）来降低数据在DN节点间的流动。4DN将结果集返回给Coordinate进行汇总。5Coordinator将汇总后的结果返回给业务应用。性能SQL和兼容性架构SQL基础功能列表SQL标准：支持ANSI SQL 99和2003；事务支持(ACID)：具备完整的OLTP事务支持能力（事务隔离级别支持可提交读，无脏读）。数据类型数值类型：字符类型、日期类型、布尔类型、大对象类型。操作符：数值运算、逻辑运算、比较运算、字串拼接（类型强转）函数：数值函数、字符函数、日期函数、类型转换、条件表达式、正则表达式、

16、安全函数、聚合函数、窗口分析函数支持表空间支持临时表支持索引支持函数索引支持视图存储过程及功能完备性支持Sequence支持丰富字符集支持dblink性能SQL和兼容性架构SQL On HDFS，实现互联互通，且兼容标准SQLLocal File SystemFusionInsight LibrA通过外表访问SparkHiveANSI SQL类SQL/APIHDFS/HBase大数据分析平台StormFusionInsight HDDNDNDNDNDNDNDNDN兼容标准兼容标准SQL:SQL:标准ANSI SQL92、SQL2003部分兼容Oracle语法、Teradata语法标准开发接口J

17、DBC、ODBC支持事务和存储过程应用应用透明透明：l支持SQL2003标准访问HDFS高高性能交互查询性能交互查询：l支持HDFS远端访问l支持ORC文件格式（查询）l支持HDFS事务l支持HDFS数据导入本地表性能SQL和兼容性架构LibrA将HDFS上存储的结构化数据映射为外部表，从而利用数据库SQL引擎的能力对HDFS上的数据进行分析。全并行架构，最大化利用系统计算资源利用率，提升处理性能核心问题：x86 PC Server集群架构下，单核处理能力有限，如何利用x86多核计算资源，提升集群处理性能；未来ARM64众核架构下，解决众核、Numa架构资源利用问题；核心技术：分布式执行框架，

18、VPP用户态TCP协议，支持1000服务器，万级CPU核并行计算；核心技术：多线程并行算法，实现核心算子内并行执行；众核(64 cores)支持，NUMA架构优化；MPP:节点并行分布式执行框架集群内并行N降低查询内并行N降低SMP:算子并行算子并行CPUCPUCPUSystem busSelect*FromCustomerOrder byLast_name;ParallelQueryPlanDispatchParallelthreadMergeResultsetThreadexecutionThreadexecutionThreadexecutionTablePartition1TableP

19、artition2TablePartition3性能SQL和兼容性架构SIMD:指令级并行指令级并行操作数归并IC降低核心技术：SIMD+向量化引擎，一个指令执行一批数据的操作；支持X86，ARM指令；核心技术：LLVM编译执行，将热点函数预编译成机器码，减少SQL执行指令数，提升性能；总计算代价=IC(降低)*CPI*N1(降低)*N2(降低),性能提升100 xIC:单记录计算指令数 CPI:每指令的CPU周期 N:记录数行列混存、向量化执行技术X百万1亿6千万10亿O#FusionInsight LibrA时间过车记录表车辆信息表卡口配置信息表 传统分析型数据库，无法应对海量数据复杂查询

20、场景下快速响应的诉求应用程序APP统一的SQL引擎：对业务透明并行执行引擎行列混存、向量化执行引擎以某市交通套牌车分析为例，6000w条记录，全市1000智能卡口，查询分析计算量大：6000w x 6000w*1000*1000在数据量达到千万级别时，传统数据库的查询响应时间极速增大6000w条记录：O#2hLibrA只需要20s行列混存、向量化执行技术带来100倍分析性能的提升实现万亿数据关联分析秒级响应性能SQL和兼容性架构行列混存技术详解，更好的场景适应性Columnar storageRow storageVector EngineRow EngineR2V V2R Query Eng

21、ineNative interface Native interface complimentaryinterface New libpq protocolExisting libpq protocolStorage Enginel表级别指定行存/列存l根据不同的场景选择不同的存储类型行/列存场景选择行列混合引擎场景 行存点查询B+树索引，直接定位到行（页）粗粒度索引，定位到CU数据更新支持行级别锁支持CU级别并发更新支持CU级别锁，支持CU级别并发更新统计分析Pipeline执行天然和向量化引擎对接，降低CPU Cache Miss和指令Miss，效率成倍提升批量加载并行批量加载压缩率高，I

22、O量更小注：用户在建表时，通过CREATE TABLE语法指定建立行存表或者列存表，在对数据进行增删改查操作时，LibrA会自动选择使用行存储引擎或者列存储引擎。性能SQL和兼容性架构列存向量化执行技术-详解数据库的“执行引擎”位于SQL引擎与存储引擎之间，执行引擎以SQL引擎执行计划为输入，调用存储引擎接口，将元组按执行计划的要求进行加工并输出给客户端。大多数主流商业数据库的执行模型：控制流向下（下图实线）、数据流向上（下图虚线）、上层驱动下层（上层节点调用下层节点要数据）、一次一元组（下层节点每次只返回一个元组给上层节点）。传统的数据库查询执行都是采用一次一tuple的pipleline执

23、行模式：1、导致CPU耗费在遍历查询操作树的时间远大于处理数据的时间；2、导致低指令缓存性能和频繁跳转；3、不能够利用到现在新硬件的新的能力来加速查询的执行。迭代器模型向量化执行相对于传统的执行模式：一次一元组的模型-一次一批元组1.提高CPU利用率：一次一元组模型函数调用次数较大，每一条元组都会根据执行树的形态遍历执行树，导致CPU耗费在遍历查询操作树的时间远大于处理数据的时间，面对OLAP场景巨量的函数调用次数，开销非常大。而向量化引擎的一次一批元组的执行模式则大大减小的遍历执行节点的开销。2.新硬件加速：一次一批元组的数据运载方式为某些表达式计算的SIMD化提供了机会，SIMD化能带来性

24、能的提升。3.提升磁盘I/O效率：一次一批元组的数据运载方式天然对接列存，列存引擎能够很方便的在底层扫描节点装填向量化的列数据。性能SQL和兼容性架构智能优化器优化器是数据库的大脑优化器是数据库的大脑执行引擎解析器RunTime:10sRunTime:1s基于规则的SQL重写聚合&表连接执行计划生产与搜索执行引擎代价评估子系统l统计信息l迭代计算统计信息lCost API-存储:知识库存储 执行计划存储SQL解析迭代过程基于代价的SQL重写存储/文件系统机器学习引擎智能优化器智能优化器关键突关键突破点破点优化器相当于数据库的优化器相当于数据库的“大脑大脑”，在PB级的海量结构化数据场景下，10

25、00+数据表，客户利用SQL语言定义出想要探寻的结果，优化器的作用就是根据数据特征和系统资源状况，从10K+的备选方案中，选择制定出最优的执行计划，不同计划，性能往往相差千倍以上。LibrA内置基于规则的优化器（RBO）和基于代价的优化器（CBO）。基于Global hint table技术的plan management：Global hint table技术取代传统SQL embedded hint，客户应用不需改写；Cost-based query rewrite技术：rule-based query rewrite技术，自动优化常见SQL不规范使用的场景；性能SQL和兼容性架构SQL极

26、速并行Bulk Load工具-GDS利用集群并行数据导入能力，平衡了网络、CPU、IO的资源占用，实现了x100 TB/天的数据导入速度，且随着集群规模的扩展，导入性能线性提升。针对列存、宽表（80+列以上）、数据压缩级别为Low/Middle级别的，对导入性能要求高的场景进行了增强。SourcefileSpliterfile serverBlocksData nodeData nodeData nodeData nodeGDS工具业务场景：将客户OLTP（Oracle等）系统中生成的数据，在指定时间段内，导入到FusionInsight LibrA中。导入性能实测：随着数据节点数的增加，数据

27、导入性能稳定增长，每日可完成数百TB数据导入。测试环境：4/8/16台RH2288高性能服务器，搭建LibrA集群。测试数据：TPC-H 3000X，常见场景分区表、低压缩级别的数据导入。4.0680246810124服务器，24DN8服务器，48DN导入性能（导入性能（TB/hTB/h）并行Bulk Load工具GDS，实现 x100 TB/天 数据导入性能SQL和兼容性架构并发能力性能SQL和兼容性架构LibrALibrA的并发能力：的并发能力：由于LibrA的集群的Coordinator Node是多活的、对等的，所以整个系统的并发数随着CN的增加可以不断增长。具体的并发能力受限于实际场

28、景：短事务：在平安城市某项目中，在混合负载场景下，测试过5000+并发，可以稳定运行。长事务：LibrA 2.7 版本在某银行复杂批处理场景下，20并发可以稳定运行。下个版本会优化到支持60并发。专利（正在申请）：一种基于流水线执行模式的查询内存自适应解决方法。通过解决多并发场景下系统资源抢占问题，实现无论多大并发，系统稳定运行。在数据仓库场景下，对并发能力的要求在数据仓库场景下，对并发能力的要求：1.用户的多任务能连接进来，这就是连接池的管理。2.高效完成多任务并发执行，实际上是多任务并发进来后，如何充分利用集群资源，向用户返回执行结果。对于OLTP类数据库来说，用户的任务（SQL）以短事务

29、居多，所以并发能力会比较高。但是在数仓场在数仓场景下景下，批处理、复杂查询非常耗费系统资源，对并发能力的要求是几十，例如POC测试中大部分是用5并发、20并发来测试。连接池数据仓库数据仓库Task高效完成多任务的执行12QuerySQL引擎获取系统资源使用情况性能对比：FusionInsight LibrA vs Greenplum，VerticaFusionInsight LibrA不需要修改SQL，可以一次跑通TPC-H，且整体执行时间优于Vertica。注：其中Q9，Vertica无法直接跑通，故无对比数据。针对Greenplum原生的优化器，以及改进后的ORCA优化器进行了对比测试。L

30、ibrA可以不修改SQL一次性跑通TPC-DS，且整体性能优于Greenplum。机器 型号 CPU 内存 网络磁盘 操作系统 4台物理机 RH2288 2*10*Intel(R)Xeon(R)CPU E5-2680 v2 2.80GHz 128GB 10GE26*600G SAS系统盘：2块600GB，RAID1数据盘：2组RAID5，每组12*600G SLE 11 SP2 0100200300400500600Q1Q2Q3Q4Q5Q6Q7Q8Q9Q10Q11Q12Q13Q14Q15Q16Q17Q18Q19Q20Q21Q22TPC-H 1000X，LibrA vs Verticaverti

31、caFusionInsight LibrA机器 型号 CPU 内存 网络4台物理机 RH2288H V2高性能2*10*Intel(R)Xeon(R)CPU E5-2680 v2 2.80GHz128GB 10GE050010001500Q1Q9Q10Q18Q19Q27Q28Q36Q37Q45Q46Q54Q55Q63TPC-DS 1000X，LibrA vs GreenplumGreenPlum-OLDGreenPlum-ORCAFusionInsight LibrA在SQL兼容性和应对各种场景的综合性能更优。性能SQL和兼容性架构其他可参考的性能测试数据-工行作业名TD生产环境（秒）华为生产

32、、列存20台（秒）E01_CUST_BELONG_INFO_A117023876PBM_CUST_PERMEABILITY_SUBSALY_A63501293PBM_CUST_PERMEABILITY_ALL_A164492379C01_INDV_CUST_LOAN_INFO_A4445853CST_CUST_STRU_A153804338生产环境部分复杂作业处理性能对比（超过2000秒的作业）华为(列存,20台）TD EDI 85个核心作业的处理时间2.5小时4.5小时476 作业端到端的处理时间5.8小时（684个作业)10小时EDI 核心作业处理性能对比某银行卸载Teradata，基于开

33、放平台，打造新一代融合数仓：TD的配置情况：EDI+EDW批量 32节点（TD 5系列16，6系列16，只能跨一代；2路CPU,128G,共享磁阵Raid，网络fattree结构。600T，实际使用400T，当前CPU已经到瓶颈）FusionInsight LibrA 满足客户的要求，并超出了客户的期望其他可参考的性能测试数据-辽宁移动LibrA在比拼测试环节，从5个家厂商（Greenplum、GBase、Vertica、神舟通用、华为）中脱颖而出，技术指标第一，成功中标辽宁移动项目。性能分类LibrAGreenplumGBaseVerticaVerticaGreenplumGBaseLibr

34、A单表导入耗时687.599 s560 s2130 s1200+s0201压缩比6.24.752.7102001多表导入耗时757.218 s不详，比我们优2400 s不详，比我们差0201压缩6.1不详，比我们差不详，比我们差不详，比我们优2001全表扫第1项2.72445 s20+s0.15 s秒级，比我们差3124第2项0.807455 s5 s4.8 s秒级，比我们差第3项0.953236 s7 s2.9 s秒级，比我们差多表关联第1项26.6021 s13 s19 s1min以上1324第2项11.9492 s80 s67 s1min以上insert52GB108GB90GB88GB

35、3124delete不清理磁盘不清理磁盘不清理磁盘不清理磁盘0000truncate全部支持全部支持全部支持全部支持2222分区全部支持全部支持全部支持全部支持2222嵌套14 s10 s39 s11 s3412distinct5.6 s60+s92 s10+s3214即席查询全部支持全部支持全部支持全部支持4444工单6.27544 s160+s2.1 s2 s4132导出1002 s1800+s1900 s1200+s3216性能总分性能总分3232262620203838来源：根据POC测试结果模拟打分，客户未正式公开发布。只分析了主要三个竞争对手的情况，神州通用数据未获取。其他可参考的

36、性能测试数据-深交所测试用例测试用例LibrAGP-2ndGP-1stGbase-2ndVetica导数(min)4.813.813.82.89.6翻数(h)2.76.36.37.211.2tc001(s)343.253.7tc002(s)58.86234.5tc003(s)134172396149101tc004(s)1815244037tc005(s)311711912204tc006(s)197380323238187tc007(s)3947448267tc008(s)20683602282337912035tc009(s)5201471460188171tc010(s)11313324

37、9166112tc011(20/50/100)(s)33/85/104149/196/150762/1920/396030/60/7811/46/50tc012(20/50/100)(s)716/1648/3253755/1782/34921020/2460/49201354/3115/60531700/4386/8576tc013(20/50/100)(s)750/2115/1781454/578/7863060/9300/10680260/819/4272183/4724/5311tc014(s)22301616834022585371查询耗时(h)4.404.02 14.54 5.30

38、9.78 总耗时(h)7.1810.55 21.07 12.54 21.14【结果说明结果说明】nE2E性能性能(包含导数、翻数、两次查询和包含导数、翻数、两次查询和data_check)，LibrA第一第一；客户关注的打分项(包含导数、翻数、第一轮查询)，LibrA第一；翻数以绝对的优势占据单项第一。n整体测试时间上，tc013(计算偏斜场景)导致了LibrA的查询性能落后【备注备注】Gbase和GreenPlum都做过返厂测试；Gbase返厂测试版本被客户发现有针对测试场景hack的代码；客户对LibrA的性能测试结果很满意，远远超出了客户的预期测试项测试项测试细项测试细项80G数据文件导

39、入DWCJK单表导入(ms)38000小数据量表查询（SQL1）单查询(ms)50并发(ms)100并发(ms)1911000并发(ms)1738明细记录查询（SQL2）单查询(ms)20720并发(ms)15050并发(ms)300100并发(ms)539业务排名查询（SQL3）单查询(ms)12620并发(ms)53150并发(ms)1177100并发(ms)2305报警现场关联查询（SQL4）单查询(ms)13620并发(ms)90450并发(ms)2173100并发(ms)3944大表关联大表（SQL5）单查询(ms)141420并发(ms)303250并发(ms)8283100并发(

40、ms)18264业务自主统计查询（SQL6）单查询(ms)43120并发(ms)330850并发(ms)8354100并发(ms)14864查询时间(s)72.49查询+导数时间(s)110.5【结果说明结果说明】nE2E性能(从导数开始到查询结束)，LibrA性能第一；整体查询时间，LibrA性能第一【备注备注】评分项以250GB数据源的结果为准，80GB为参考测试结果后给客户模拟演示连接池的效果，性能可提升45倍，客户表示认同历史数据查询实时查询扩容业务不中断，且容量和性能线性增长无中心节点的分布式执行框架，避免因单点性能影响系统可扩展性，节点间数据交互量小。针对磁盘空间的剩余度，提供两种

41、数据重分布方式：1.磁盘充足，快速数据重分布；2.磁盘不足，提供一致性Hash的数据重分布方式。并行计算架构，充分利用集群中所有X86服务器资源，提供极致分析性能，且随着集群规模扩展性能线性增长。性能、容量通用x86服务器数据加载性能、业务处理性能和容量线性扩展协调节点数据节点无共享架构，易扩展可轻松扩展到256物理节点，PB级容量随着节点数的增加，系统容量/性能线性增长线性度 0.8性能SQL和兼容性架构多层级冗余实现系统无单点故障注：CN:协调节点；DN：数据节点；GTM：全局事务管理；CM Server：集群管理器；CM Agent：集群管理客户端；Monitor：集群管理监视器；Hos

42、t 0Host 0DN 1 Primary DN 1 Primary DN 2 PrimaryDN 2 PrimaryDN 3 Primary DN 3 Primary DN 4 PrimaryDN 4 PrimaryDN 0 Primary DN 0 Primary DN 6 Standby DN 6 Standby DN 7 StandbyDN 7 StandbyDN 8 StandbyDN 8 StandbyDN 9 StandbyDN 9 StandbyDN 5 StandbyDN 5 StandbyCM CM AgentAgentCN 0CN 0MonitorMonitorHost

43、1Host 1DN 1 StandbyDN 1 StandbyDN 2 StandbyDN 2 StandbyDN 3 Standby DN 3 Standby DN 4 StandbyDN 4 StandbyDN 0 Standby DN 0 Standby DN 6 Primary DN 6 Primary DN 7 PrimaryDN 7 PrimaryDN 8 PrimaryDN 8 PrimaryDN 9 PrimaryDN 9 PrimaryDN 5 PrimaryDN 5 PrimaryCN 1CN 1MonitorMonitorCM CM AgentAgentHost 3Hos

44、t 3GTM StandbyGTM StandbyCM CM AgentAgentCM Server CM Server PrimaryPrimaryMonitorMonitorHost Host 4 4GTM PrimaryGTM PrimaryCM Server CM Server StandbyStandbyMonitorMonitorCM CM AgentAgentActive-Active-StandbyStandbyActive-Active-ActiveActiveActive-Active-StandbyStandbyActive-Active-StandbyStandby高可

45、高可用用故障检测故障检测硬件高可硬件高可用用：存储：磁盘RAID冗余。网络：双交换机冗余。网卡：多网卡冗余。主机：UPS电源保护 网络故障检测和处理（交换机路由器等）网卡故障检测和处理（本地网卡故障检测）磁盘故障检测和处理：磁盘心跳，处理文件系统返回的错误码 主机掉电检测和处理：Heartbeat机制 集群实例故障检测和处理（CN/DN/GTM进程非法终止）集群软件故障通过硬件冗余、实例冗余、数据冗余，实现整个系统无单点故障性能SQL和兼容性架构可视化集群管理，一切尽在掌握u 向导式/一键式集群安装部署和扩容，简单快速u 服务组件配置项可视化u 全面的系统监控与告警管理，服务状态、节点状态（C

46、PU、内存、硬盘、网络等）一目了然，u SNMP/FTP/SYSLOG标准接口与企业已有管理系统无缝对接可视化集群管理，运维便捷集群节点状态集群服务状态运维功能运维功能安装升级扩容集群修复租户管理监控告警性能SQL和兼容性架构应用开发和迁移工具列表Data Data StudioStudio是一款GUI SQL编辑、调试工具，可以通过它来连接数据库，调试执行SQL语句和存储过程。它支持LibrA的基本特性，为数据库开发人员提供图形界面，显著提高构建应用程序的效率，并简化数据库开发及应用开发任务。提供“SQL助手”功能，在用户编写SQL时智能呈现SQL语法功能介绍、示例、注意事项等。将SQL脚本

47、从一个数据库迁移到另一个的数据库过程复杂，风险高，且耗时。使用命令行工具Migration Tool可安全及时地将Teradata/Oracle脚本迁移至FusionInsight LibrA。该工具还会显示迁移过程状态，并用日志记录操作过程中发生的错误。说明说明：关系型数据库市场份额独大的原因之一是SQL语言，以及ANSI SQL标准化。而主流数据库厂商如Teradata、Oracle、Greenplum等都兼容标准的SQL，FusionInsight LibrA也兼容标准SQL。因此，在应用（SQL）从其他数据库迁移到LibrA过程中，因为兼容性，95%以上SQL不用修改，同时Terada

48、ta、Oracle等专有的SQL语法，提供了一键式修改工具Migration Tool。SQLSQL开发工具开发工具Data Studio应用迁移工具应用迁移工具 Migration Tool性能SQL和兼容性架构支持完善的物理和逻辑备份恢复通过FusionInsight Manager提供的备份管理功能，可以制定周期备份计划，或者手动进行备份。备份的文件可以放在本地磁盘或者NBU中。注1：NBU（NetBackup Unit，网络备份单元）。注2：数据库中的数据包括两类 1、数据本身；2、归档日志，通过日志回放可以重新生成数据。物理物理备份和恢复：备份和恢复：就是转储数据库物理文件(如数据文

49、件、控制文件、归档日志文件等)，一旦数据库发生故障，可以利用这些文件进行还原。在很多情况下，DBA更倾向于把备份恢复的命令编写为shell脚本，方便自己使用。lgs_dump 简介gs_dump是FusionInsight LibrA用于备份数据库相关信息的逻辑备份工具。它可以对正在运行的数据库进行完整的一致备份，支持将数据库中的数据定义和数据导出（转储）成物理文件，并使用导入工具进行恢复。lgs_dumpall 简介gs_dumpall是FusionInsight LibrA用于备份数据库相关信息的逻辑备份工具。它可以对数据库集群进行完整的一致备份。lgs_restore 简介gs_rest

50、ore是FusionInsight LibrA提供的针对gs_dump备份数据的恢复工具。通过此工具可由gs_dump生成的导出文件进行恢复。逻辑备份和恢复：逻辑备份和恢复：就是对数据库对象(如用户、表、存储过程等)利用EXPORT等工具进行导出工作，可以利用IMPORT等工具把逻辑备份文件导入到数据库。LibrA提供了如下命令行工具，可以对数据库对象进行备份。性能SQL和兼容性架构兼容PostgreSQL生态，对接主流第三方工具兼容Postgresql生态的含义以DBeaver为例，在连接LibrA时，connection type可以选择PostgreSQL就可以连接上。PostgreSQ