《Hugetable培训》PPT课件.pptx

《《Hugetable培训》PPT课件.pptx》由会员分享，可在线阅读，更多相关《《Hugetable培训》PPT课件.pptx（38页珍藏版）》请在装配图网上搜索。

1、Hugetable技术培训2016年1月 2 大数据平台技术概述批处理型大数据技术：适合利用大规模集群处理海量规模数据，一般并发度较低，任务响应时间为分钟或小时级；相关技术：MapReduce、Hive、Pig实时/准实时型大数据技术：集群规模可大可小，处理交互式或高并发任务，响应时间在毫秒或秒级别；相关技术：Impala、Spark SQL混合型：设计上试图同时满足上述两种类型数据处理要求，可能需要克服一定的技术瓶颈； 相关技术：HBase、HugeTable 3 HT基础HT基础HT架构HT组件通用处理模块元数据管理模块DDL CREATEROLEIFNOTEXISTSrole_name;

2、ALTERUSERuser_nameSETPASSWORDstring;SETPASSWORDstring; ALTERSCHEMA|DATABASEdatabase_nameSETAUTHORIZATIONuser_or_role_name; 17 HT用户管理 SQL示例查看所有用户和角色hugetableshowusers;+-+-+-+-+-+|NAME|ADMIN|REMARKS|ID|QUEUE_NAME|+-+-+-+-+-+|ROOT|true|2|root.hugetable.default|U1|false|9|root.hugetable.default|+-+-+-+-

3、+-+2rowsselected(0.229seconds)hugetableshowroles; +-+|ROLE_NAME|+-+|R1|PUBLIC|+-+2rowsselected(0.046seconds) 18 HT基础HT基础HT架构HT组件通用处理模块元数据管理模块DDL GRANTALLPRIVILEGESTOuser_or_role_name;-收回系统权限REVOKEsystemPrivilege,.FROMuser_or_role_name;REVOKEALLPRIVILEGESFROMuser_or_role_name;*当用户名为全数字时，请在引用用户名时使用双引号

4、 GRANTCREATESESSIONTOPUBLIC;GRANTCREATETABLETOUSER1;REVOKEDROPUSERFROMROLE1;REVOKEALLPRIVILEGESFROMUSER2; 23 HT权限模型 对象权限SELECT INSERT UPDATE DELETEALTER INDEX REFERENCES EXECUTECREATE SNAPSHOT DROP SNAPSHOT CREATE PARTITION DROP PARTITION 24 HT权限模型 对象权限SQL语法语法示例-赋予对象权限GRANTobjectPrivilege,.ONobjectT

5、ypeobjectName,.TOuser_or_role_name;GRANTALLPRIVILEGESONobjectTypeobjectName,.TOuser_or_role_name;-收回对象权限REVOKEobjectPrivilege,.ONobjectTypeobjectName,.FROMuser_or_role_name;REVOKEALLPRIVILEGESONobjectTypeobjectName,.FROMuser_or_role_name; objectType:=TABLE|VIEW|INDEX|TRIGGER|ALIAS|CONSTANT|SEQUENCEo

6、bjectName:=schema_name.object_nameGRANTSELECTONDEFAULT.T1TOUSER1;GRANTALLPRIVILEGESONINDEXDB1.INX1TOPUBLIC;REVOKEINSERT,UPDATE,DELETEONTABLET2FROMUSER2;REVOKEALLONT3FROMROLE1; 25 HT权限管理 查看权限查看被赋予的系统权限语法示例SHOWGRANTEDPRIVILEGESFORuser_or_role_name; hugetableshowgrantedprivileges;+-+-+-+|GRANTEE|GRANTE

7、E_TYPE|SYSTEM_PRIVILEGES|+-+-+-+|ROOT|USER|ALLPRIVILEGES|U1|USER|(EMPTY)|PUBLIC|ROLE|(EMPTY)| +-+-+-+3rowsselected(0.127seconds) 26 HT权限管理 查看权限查看被赋予的对象权限语法示例SHOWGRANTEDRIGHTSFORuser_or_role_name|ONobjectName;objectName:=schema_name.object_namehugetableshowgrantedrights;Norowsselected(0.002seconds) h

8、ugetablegrantselectont1tou1;Norowsaffected(0.01seconds)hugetableshowgrantedrights;+-+-+-+-+|GRANTEE|GRANTEE_TYPE|GRANTED_OBJECT|GRANTED_RIGHTS|+-+-+-+-+|U1|USER|DEFAULT.T1|SELECT|+-+-+-+-+1rowselected(0.129seconds) 27 HT用户权限说明 PUBLIC是HT中的一个特殊的角色，所有用户都隐式的拥有PUBLIC角色所拥有的所有权限；只有数据库管理员（DB Admin）可以将系统权限赋予

9、其他用户或从其他用户收回系统权限。数据库拥有者（DB Owner）可以赋予或收回其所拥有的数据库内的数据库对象的对象权限。管理员默认拥有所有系统权限和对象权限；数据库所有者默认拥有其下数据库内的所有数据库对象上的所有对象权限。 28 HT API1 . JDBC API2 . REST API3 . SNMP API 29 HT API JDBC API JDBC Driver Manager负责创建和管理JDBC连接，对于每次连接请求，Driver Manager根据URL找到相应的Driver进行连接。 Hugetable JDBC Driver是运行在客户端用来转换JDBC API和下层

10、数据库协议的适配器(adaptor)。用户的Java程序可以通过标准的JDBC API访问 HugeTable中的数据。 30 HT API REST API认证数据库对象管理获取Database列表创建Database删除Database获取Database的Table列表获取Table的Schema Database写操作服务状态管理获取服务状态更改服务状态 统计信息查询获取系统级别统计信息获取服务级别统计信息配置信息管理获取服务器配置设置服务器配置 31 HT API REST API 认证认证在HTTP消息头中必须有以下的消息头： Date：发起操作的时间，按照“EEE, d MMM

11、yyyy HH:mm:ss z”的格式发送数据。 Authorization：用于认证。客户端在发送REST请求前，使用“用户名/密码”计算出Authorization头部的值。值的格式为“METHOD USERNAME:SIGNATURE”。METHOD为认证方法，目前支持的METHOD为“HTAUTH”。 USERNAME为用户名；SIGNATURE为MD5 (METHOD+DATE+密码) 当一个REST消息到达Web Server的时候，Server会首先判断Date字段值是否合法，如果格式合法，并且与系统当前时间的时间差在3 0 0 s之内，则认为该消息有效，之后Server需要根据

12、Authorization消息头中的信息，取得该用户对应的密码重新计算一遍SIGNATURE，如果计算得到的signature与Authorization消息头中的一致，则认为通过认证，否则认为认证失败。Date: Mon, 2 3 May 2 0 1 1 0 9 :1 3 :0 7 GMTAuthorization:HTAUTH username:signature 32 HT API REST API 示例1服务状态管理 - 例获取系统所有服务，以及服务的状态 Request内容：RequestGET /services HTTP/1 .1Host: Date: Mon, 2 3 May

13、2 0 1 1 0 9 :1 3 :0 7 GMTAuthorization: HTAUTH username:signatureContent-Type: application/xml 33 HT API REST API 示例1服务状态管理 - 例返回系统所有服务，以及服务的状态 Response内容：HTTP/1.1200OKContent-Length:xxx NameNodenn-host-nameACTIVEDataNodedn-host-nameACTIVE. 34 HT API SNMP APISNMP API SNMP是Hugetable的系统组件之一，实现NOSQL系统的

14、告警信息采集和上报功能。 HT SNMP API所做的工作有定义OID定义TRAP消息标识、消息内容将定制化的OID和TRAP内容集成进SNMP服务端代码 35 HT数据库访问方式 - JDBC API使用JDBC API连接完整的URL格式（ 表示可选） jdbc:hugetable:/ ServerHost:ServerPort/dbname JDBC Driver的主要参数：参数值说明DriverName hugetable HugeTable JDBC Driver名称。在URL中将由此区分不同的JDBC Driver。ServerHost hostname或IP地址启动HugeTab

15、le Server的服务 器地址。ServerPort缺省为9 0 9 2启动HugeTable Server的监听端口。依赖于HugeTable Server的监听端口号配置。dbname缺省为default HugeTable中的Database名。 36 HT数据库访问方式 - JDBC API使用JDBC API连接示例publicclassJDBCClientpublicstaticvoidmain(Stringargs)StringdriverName=com.hugetable.Driver;Stringurl=jdbc:hugetable:/10.133.5.74:9092/d

16、efault;Stringuser=root;Stringpassword=123123;try/Class.forName(driverName);Connectionconn=DriverManager.getConnection(url,user,password);Statementstatement=conn.createStatement(); booleanquery=statement.execute(SELECT*fromhcdrLIMIT10);ResultSetresult=statement.getResultSet();catch(SQLExceptione)e.printStackTrace();System.out.printf(Connectionerror!,e);/log.error(Connectionerror!,e);System.exit(1); 37 HT其他功能 HT Help HT HA数据库备份/恢复数据表备份/恢复元数据备份/恢复分类的日志系统基于HUE的管理页面基于Kerberos的安全防护基于HControl的配置管理和监控 谢 谢 ！