Hugetable培训-XXXX-01-14.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《Hugetable培训-XXXX-01-14.ppt》由用户(三亚风情)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Hugetable 培训 XXXX 01 14
- 资源描述:
-
1、Hugetable技术培训2016年1月第1页,共39页。大数据平台技术概述 批处理型大数据技术:批处理型大数据技术:适合利用大规模集群处理海量规模数据,一般并发度较低,任务响应时间为分钟或小时级;相关技术:MapReduce、Hive、Pig 实时实时/准实时型大数据技术:准实时型大数据技术:集群规模可大可小,处理交互式或高并发任务,响应时间在毫秒或秒级别;相关技术:Impala、Spark SQL 混合型混合型:设计上试图同时满足上述两种类型数据处理要求,可能需要克服一定的技术瓶颈;相关技术:HBase、HugeTable第2页,共39页。HT基础第3页,共39页。HT基础第4页,共39页
2、。HT架构HugeTable定义:存储和管理大规模结构化数据的数据仓库系统,实现对应用数据集的模型定义、存储模型定义、存储组织、索引、查询和统计分析组织、索引、查询和统计分析功能。数据存储和管理:主要使用Hbase存储引擎;支持海量结构化、半结构化数据的存储和管理。数据导入导出:采用HTLoad分布式加载工具,未来集成进CrossData实现。ETL功能的一部分。数据统计分析:提供SQL92兼容的查询接口、基本统计能力,并行分析。集成多种开源查询引擎,并支持基于代价查询优化。系统管理:集成的系统监控、数据管理、用户管理、日志和告警等。数据备份恢复:支持高性能的数据库/表备份和恢复。第5页,共3
3、9页。HT基础第6页,共39页。HT组件自动化部署工具导入导出工具编译打包工具加载工具自动化测试工具开发者工具包SDK一致性检验工具 外围工具SQL Cli/xDBCNative ScanMapReduceSQL引擎ScanMR关系型数据库MySQL分布式文件系统HDFS分布式KV-Store HBase监控/管理元数据存储HFileORCTextFileRCFile索引存储查询能力存储能力数据存储第7页,共39页。HT组件 元数据管理模块Hive SQL EngineHive MetadataAPIMetadataStorage inMySQLSmart SQLEngineHive Meta
4、 Adapter第8页,共39页。HT组件 DDL&DML处理模块Parser备份还原建表、建索引DDL/DML权限管理用户管理自定义DDL、DML处理模块,这部分主要处理HT自定义的命令,可以灵活添加修改。Select/IUD第9页,共39页。HT模块 HBase引擎表模块索引查询读取:InputFormatInsertUpdateDeleteHT的核心模块,主要工作是HBase表的增、删改、查,导入等。导入:BulkLoad/OutputFormatHBase TableHiveHTSpark第10页,共39页。HT组件 存储引擎模块为了满足不同应用领域对数据存储的要求,HugeTable
5、在提供统一访问接口的前提下,底层支持多种特性不同的数据存储多种特性不同的数据存储引擎引擎。引擎名称特点适合场景引擎名称特点适合场景TextFile(File)纯文本格式;原始文件可直接入库,支持多种压缩算法。入库效率要求高;数据在多应用间共享,且其他应用要求文本存储。RCFile(File)行-列混合存储方式;支持多种压缩算法。对数据入库压缩比有较高要求;数据查询针对特定列执行。Hfile(File)对数据局部排序的行存引擎,支持多种压缩方法;支持丰富的索引机制。同时具有精确定位和海量数据分析需求的场景。K-V Store数据实时入库,保证行级的数据一致性,具有一定的幵发能力。数据有IUD需求
6、,且幵发用户较多的场景。第11页,共39页。HT组件 HT索引模块CREATE TABLE TB1(start_time BIGINT,msisdn STRING,file_name STRING,line_number BIGINT,PRIMARY KEY(start_time,msisdn)部分详单类应用要求在短时间内获取对海量数据的精确匹配查询结果,现有开源数据仓库系统系统无法满足。start_timemsisdnfile_nameline_numberrowkeyvalue(other columns)134993885232913500000004File00011024134993
7、8852329,13500000004File0001,1024134993885677013500000049File000220481349938856770,13500000049File0002,2048134993885439713500000108File00015121349938854397,13500000108File0001,512134993885527513500000127File00031281349938855275,13500000127File0003,128第12页,共39页。HT组件 智能路由模块概述 Smart SQL Engine模块 开发:以RDB
8、的SQL Engine作为基础,进行开发通过SERDE、INPUTFORMAT、OUTPUTFORMAT等扩展机制对Hive进行扩展 处理对象:主要用于高并发索引查询和IUD操作所有扩展的语法通过Smart SQL Engine进行处理 结果处理:Hive返回的结果通过适配,转换成一致的结果第13页,共39页。HT基础第14页,共39页。HT用户模型HT DBM N第15页,共39页。HT用户管理 SQL示例 创建用户/角色 修改密码 修改数据库所有者身份CREATEUSERIFNOTEXISTSuser_namePASSWORDstring|SALTbytesHASHbytesADMIN;C
9、REATEROLEIFNOTEXISTSrole_name;ALTERUSERuser_nameSETPASSWORDstring;SETPASSWORDstring;ALTERSCHEMA|DATABASEdatabase_nameSETAUTHORIZATIONuser_or_role_name;第16页,共39页。HT用户管理 SQL示例 查看所有用户和角色hugetableshowusers;+-+-+-+-+-+|NAME|ADMIN|REMARKS|ID|QUEUE_NAME|+-+-+-+-+-+|ROOT|true|2|root.hugetable.default|U1|fal
10、se|9|root.hugetable.default|+-+-+-+-+-+2rowsselected(0.229seconds)hugetableshowroles;+-+|ROLE_NAME|+-+|R1|PUBLIC|+-+2rowsselected(0.046seconds)第17页,共39页。HT基础第18页,共39页。HT权限模型 权限结构第19页,共39页。HT权限模型 权限授予/回收方式第20页,共39页。HT权限模型 系统权限CREATE SESSIONALTER SESSIONANALYZE ANYCREATE SCHEMAALTER SCHEMADROP SCHEMAC
11、REATE USERALTER USERDROP USERCREATE ROLEDROP ROLECREATE AGGREGATEDROP AGGREGATECREATE TABLECREATE ANY TABLEALTER ANY TABLEDROP ANY TABLESELECT ANY TABLEINSERT ANY TABLEUPDATE ANY TABLEDELETE ANY TABLECREATE ANY SNAPSHOTDROP ANY SNAPSHOTCREATE ANY PARTITIONDROP ANY PARTITIONCREATE VIEWCREATE ANY VIEW
12、ALTER ANY VIEWDROP ANY VIEWCREATE ANY INDEXALTER ANY INDEXDROP ANY INDEXCREATE SEQUENCECREATE ANY SEQUENCEALTER ANY SEQUENCEDROP ANY SEQUENCECREATE ALIASCREATE ANY ALIASDROP ANY ALIASEXECUTE ANY ALIASCREATE TRIGGERCREATE ANY TRIGGERDROP ANY TRIGGERCREATE CONSTANT第21页,共39页。HT权限模型 系统权限SQL语法 语法 示例-赋予系统
13、权限GRANTsystemPrivilege,.TOuser_or_role_name;GRANTALLPRIVILEGESTOuser_or_role_name;-收回系统权限REVOKEsystemPrivilege,.FROMuser_or_role_name;REVOKEALLPRIVILEGESFROMuser_or_role_name;*当用户名为全数字时,请在引用用户名时使用双引号GRANTCREATESESSIONTOPUBLIC;GRANTCREATETABLETOUSER1;REVOKEDROPUSERFROMROLE1;REVOKEALLPRIVILEGESFROMUSE
展开阅读全文