GBASE培训总结

《GBASE培训总结》由会员分享，可在线阅读，更多相关《GBASE培训总结（5页珍藏版）》请在装配图网上搜索。

1、问题10PB/节点有效数据？支持 infiniband 网络？PB 级支持能力？pdf2ppt?备份库不能选库必须为全量？集群内跨库操作映射不支持？按秒存储时间？背景：三大应用OLTP-OLAP-NOSQLOnesizefitsalltomuchsizefitall集群架构特征：应用程序（接口层 SQL-任一节点访问）数据库节点（集群）（负载平衡）数据分发节点（ETL）外部数据来源集群结构：节点 192 个规格（64 组*3 节点），内部高速互联分布式任务下发与回应集群管理工具-集群节点 N节点 GCCLUSTER 数据管理层分解 SQL 任务管理，不进行计算节点 NODE 数据存储计算实例，

2、直接加载数据，不需经过 GCCLSTER节点 GCWARE 节点管理,节点为单位，非数据位单位SAFEGROUP：多个节点组成，数据互为备份，根据数据量高可用要求进行配置节点数，组数，扩展时以 safegroup 为单位进行，不是以节点为单位扩展，多副本（目前最多 2 副本,3 节点 1 个组）上部是应用接口层下部是基础层（UNIX 系统）再下是数据分发节点及外部数据来源核心技术：1，列存储，数量大越大效率越高2，高效压缩 1:20,提升 I/O 性能,以列为单位选择灵活压缩，表级压缩，配置文件配置全局压缩，优先级列-表-全局三层压缩;列压缩方式选择（0,0）（1,3）（5,5），新建表才能改

3、数据列压缩模式，旧的存储不能更改。3，智能索引：以数据包为单位建立索引，可扩展，占领空间小4，双向并行：单表 300GB/小时，多表 300GB/小时，集群（20 节点以上）2TB/小时5，全文检索：增加工具 doc2txt，建立全文检索等模块，并行完成理论极值：列存 1TB-100GB自适应压缩 100GB-10GB 智能索引 10GB-1GB并行逐步提升处理效率架构演进：单机数据库计算集中，存储集中共享数据库计算分布存储集中MPP+Sharednothing 计算分布存储分布场景应用：分析类应用查询统计数据挖掘全文检索优势体现：优秀与适合比较PCSERVER+LINUX+SATAvs 小型

4、机+UNIX+阵列硬件成本几万元目标：2014结构化+半结构+非结构（30PB,500 节点）对接 HADOOP 可以处理非机构化数据如语音，视频等数据流继续优化 2013 实现的功能包括阵列混存等安装与卸载集群规划a.数据模型规划数据部署方式：复制表（节点内，小表，或与其他表 join 较多的 as 复制表）分布表（组内节点间，大表 as 分布表）分布表：随机分布表轮询，易有瓶颈；HASH 分布表，以某一列做 HASH 计算，算出每个行（现在已经是块，65536 行就是一个块，不是行）的 HASH 值进行节点分布，若 HASH 值分布密集也可能存在瓶颈b.空间规划2 节点 or3 节点做安全

5、组单节点：数据存储空间（复制表，分布表，分布表复件，索引），运算存储空间硬件高可用多网卡绑定：适配器容错，主备方式；负载均衡系统占用 1TB 空间，ext4 格式化，OPT 目录存储业务数据及元数据 gcnode，索引与元数据Gccluster目录大小：节点/50GB,/optTB 级别客户端安装企业管理器 JDBC 节点或者Gccli 用户文件复制客户端 cat/日常维护命令行方式Gcadmin 查看正常的集群工作状态 active（前集群中 Olline 的节点个数大于 1/2 时），locked（当前集群中 Online 的节点个数小于等于 1/2 时），模式 noarmalreadon

6、lyrecover 节点工作状态 onlineoffiline 各模组进程的工作状态 openclose，datastate 节点数据一致性01nodestate 节点一致性offline 检查（节点硬件，gcware 启动，）模组进程 close 排除（7 进程，psef|grep 进程名，service 进程名 status，单独启动、停止进程）数据恢复 datastate 状态为 1 的故障排除（自动修复，节点内尽快恢复，集群层面加锁恢复后解锁，几秒周期比对，检查错误日志发现即触发，先 DDL 对表架构无操作后 DML 对表有增删改有操作）手工节点故障排除（短时间无法修复需设置节点状态

7、failuregcadminsetnodestatenodeip192.168.1.2failure）此时所有表锁住，然后自动恢复数据 normal 后再解锁。GcadminhelpGcadminshowlock（Orphan 孤儿锁孤节点）nmon 检查内存使用率dfh 检查磁盘空间批处理 SQL 文件（-f 强制执行出错场景）用户密码加引号,否则是加密的非明文密码，比如123456授权 grantallontest 收回 revoke查看本节点线程 showfullprocesslist查看集群压缩Desctest.t 查看列扩容风险大，按组增加，需先规划（多种方案手工自动），再数据重分布

8、（均匀分布或非对称分布）Gcinstall.py扩容数据重分布过程中集群状态：normal-readonly（耗时最长）-recover-normal三个阶段:数据准备-数据切换-数据清理恢复配置文件与原有最好修改为一致，避免因为默认与需求修改导致差异化管理工具集群加载dispserver-dispcli-gbloader 加载流程错误数据日志，出现大量数据错误时，可以手工终止加载分析原因后再继续加载，比如任务文件定义不对导致的，分隔符问题，表定义不符，精度问题，datetime 问题，空值问题等；加载超时，比如网络故障；加载导致集群节点 lock，需查看 dispcli 的 log 分析启动

9、同步工具同步数据；磁盘空间不足，清理垃圾 log。Gcdump 导出表结构和存储过程（gcdump 导出数据比较慢）查询结果导出（分布表可以导出为一个文本文件）集群备份与恢复（不能写 readonly，全备，增备，从全备恢复故障数据，交互式或命令行式，定期任务执行命令行式，本地与异地备份恢复，银行异地恢复专门的备份服务器且空间占用小）监控工具查看，不能对节点做操作采集中心采集代理监控网站生产环境不建议部署在同一台机器上监控任务临时打开关闭Showvariableslike%sql_sta%SetglobeSQL 介绍数据类型严格和近似（是否四舍五入）与其他数据库对比Int1、8Smallint

10、bigint系统函数与其他数据库对比Gbaselength、char-lengthOraclelengthb、lengthtrim 去除语法标识符 64,256Delimiter|Delimiter;数据库对象数据库 gbk,utf8 字符集；表；视图；索引；存储过程；自定义 funtion;Altertable 表名，加减列，修改列位置，但不能修改列属性，字符集，数据类型等，因为压缩导致或字段字段变长？Truncatetable 不记录日志，删除所有行比 delete 快（delete 打删除标记，数据还在），和droptable 差不多快，都可以释放空间，空间大小不变，空间利用率变化？表语

11、法hash 分布-distributedby 歹 U选择 count（distributed）大的等复制表语法（select 随机分布 like 复制与原表一致）nocopies 表（可以被 gcdump 出表结构，转换成非 nocopies 可以导出数据，即做复制）临时表（不可以被 gcdump 出表结构，session 关闭就消失，不会被备份，省空间）索引 indexglobe（行），locale（DCdatacell 块，32K 宽？）系统表 informationschema 全库查询每类数据库对象Procedure、functionCreat/alter/drop,不能设断点，调试，直接使用 select 查询结果做判断比较麻烦Delimiter|（beginend）Delimiter;ShowprocedureDeclaregetdiagnostics不支持 for 需结合游标替换静态游标（不可以嵌套，可以重复使用），动态游标（存储过程使用，不能用在函数，可以配对嵌套使用）预处理使用 prepareexecuteSQL 限制2000 列，32k 宽等性能优化操作1.相关日志文件,trace,express，system，aduit 保存目录下文件或者库系统表2.