南大通用数据技术有限公司
hosts文件修复 时间:2021-01-14 阅读:()
-1-GBase8a分析型数据管理系统管理员手册V9.
5.
2GBase8a管理员手册,南大通用数据技术股份有限公司GBase版权所有2004-2020,保留所有权利.
版权声明本文档所涉及的软件著作权、版权和知识产权已依法进行了相关注册、登记,由南大通用数据技术股份有限公司合法拥有,受《中华人民共和国著作权法》、《计算机软件保护条例》、《知识产权保护条例》和相关国际版权条约、法律、法规以及其它知识产权法律和条约的保护.
未经授权许可,不得非法使用.
免责声明本文档包含的南大通用公司的版权信息由南大通用公司合法拥有,受法律的保护,南大通用公司对本文档可能涉及到的非南大通用公司的信息不承担任何责任.
在法律允许的范围内,您可以查阅,并仅能够在《中华人民共和国著作权法》规定的合法范围内复制和打印本文档.
任何单位和个人未经南大通用公司书面授权许可,不得使用、修改、再发布本文档的任何部分和内容,否则将视为侵权,南大通用公司具有依法追究其责任的权利.
本文档中包含的信息如有更新,恕不另行通知.
您对本文档的任何问题,可直接向南大通用数据技术股份有限公司告知或查询.
未经本公司明确授予的任何权利均予保留.
通讯方式南大通用数据技术股份有限公司天津高新区华苑产业园区开华道22号普天创新产业园区东塔电话:400-013-9696邮箱:info@gbase.
cn商标声明是南大通用数据技术股份有限公司向中华人民共和国国家商标局申请注册的注册商标,注册商标专用权由南大通用公司合法拥有,受法律保护.
未经南大通用公司书面许可,任何单位及个人不得以任何方式或理由对该商标的任何部分进行使用、复制、修改、传播、抄录或与其它产品捆绑使用销售.
凡侵犯南大通用公司商标权的,南大通用公司将依法追究其法律责任.
GBase8a管理员手册南大通用数据技术股份有限公司I目录前言1手册简介1公约21系统简介31.
1系统简介.
31.
2产品技术特点.
31.
3产品功能简介.
42基本管理52.
1系统安装.
52.
2服务的启停.
52.
3修改数据库root用户的密码53DDL与DML73.
1DDL73.
1.
1数据库.
73.
1.
2表73.
1.
3视图.
93.
1.
4存储过程和函数.
93.
1.
5哈希索引.
113.
2DML.
123.
2.
1INSERT.
123.
2.
2UPDATE.
133.
2.
3DELETE.
144审计日志164.
1简介164.
2配置参数.
174.
3存储方式.
184.
4使用约束.
184.
5使用示例.
185权限管理235.
1用户管理.
235.
2权限管理.
246图形化管理工具296.
1企业管理器.
297加载功能30GBase8a管理员手册II南大通用数据技术股份有限公司7.
1语法格式.
307.
2使用约束.
367.
3使用示例.
387.
4数据服务器配置.
427.
4.
1FTP服务器配置.
427.
4.
2HTTP服务器配置.
477.
4.
3HDFS服务器配置.
497.
4.
4SFTP服务器配置.
558安全管理588.
1密码安全管理.
588.
1.
1密码强度控制588.
1.
2密码重用控制598.
1.
3密码有效期控制598.
2用户安全管理.
618.
2.
1登录重试锁定618.
2.
2账户锁定和解锁618.
2.
3账户限定host列表628.
3审计策略.
628.
3.
1创建审计策略628.
3.
2修改审计策略648.
3.
3删除审计策略648.
4查看安全信息.
648.
5登录信息显示.
658.
6安全管理的权限.
668.
7登陆管理一致性.
669密钥证书管理689.
1证书存储位置.
689.
2语法描述.
689.
3创建证书.
689.
3.
1打开/关闭证书699.
3.
2显示证书状态699.
3.
3修改证书口令699.
3.
4明文、密文密钥转换7010元数据管理7110.
1.
1限制表实例数量7110.
1.
2限制表实例元数据总大小7110.
1.
3超出限制后对m_tables清理比例71GBase8a管理员手册南大通用数据技术股份有限公司III10.
1.
4状态监测.
72GBase8a管理员手册南大通用数据技术股份有限公司-1-前言手册简介GBase8a管理员手册主要从用户使用的角度介绍了GBase8a数据库日常管理维护的知识,通过阅读本手册用户可以学习到GBase8a数据库的常用管理技能和维护技巧,掌握对数据库常用对象的命令管理和图形化管理技能,掌握对数据库状态监控的技能.
第一章对GBase8a做简单介绍,主要描述了GBase8a的功能,特点等方面的内容.
第二章介绍了GBase8a的基本管理,主要描述了服务的启停,登录与退出的内容.
第三章介绍了GBase8a中DDL与DML的语法,主要描述了基本的DDL与DML的语法内容.
第四章介绍了GBase8a中的审计日志,主要描述了如何运用审计日志来监视用户所执行的数据库操作的内容.
第五章介绍了GBase8a的权限管理,主要描述了用户管理以及用户权限管理方面的内容.
第六章对于GBase8a的图形化管理工具进行了简单介绍.
GBase8a管理员手册-2-南大通用数据技术股份有限公司公约下面的文本约定用于本文档:约定说明加粗字体表示文档标题大写英文(SELECT)表示GBase8a关键字等宽字体表示代码示例…表示被省略的内容.
GBase8a管理员手册南大通用数据技术股份有限公司-3-1系统简介1.
1系统简介GBase8a是一款具有高效统计和分析能力的列存储关系型数据库管理系统,能够管理TB级数据.
GBase8a面向分析型应用领域,以列为基本存储方式和数据运算对象,结合列数据压缩处理、并行处理、快速智能索引等新型数据处理技术,在查询、统计、分析以及批量加载性能上具备突出的优势.
GBase8a符合SQL92、ODBC、JDBC、ADO.
NET等国际规范,提供完备的数据存储和数据管理功能.
1.
2产品技术特点GBase8a技术上的"三高"优势:高性能列存储在大大减少了I/O的同时,显著提高查询性能;智能索引大幅提高查询性能;高速的数据加载性能;高效的并行SQL执行计划.
高性价比采用多种压缩技术,减少存储数据所需的空间,可以将所用空间减少1~20倍,并相应地提高了有效的I/O性能;采用高压缩技术,能显著减少存储开销,从而帮助客户减少了数据库整体投入成本.
高易用性易于实施和管理,只需要传统数据库1/10的管理成本,与主要商业智能GBase8a管理员手册-4-南大通用数据技术股份有限公司工具兼容,如GBaseBI、Cognos、SAPBO、BIEE、SAS、SPSS.
1.
3产品功能简介GBase8a支持的功能如下表所示:功能描述结构化查询语言符合SQL92标准,支持CREATE、ALTER、DROP等DDL语法,支持SELECT、INSERT、UPDATE、DELETE等DML语法,支持单表,多表联合查询.
数据类型INT、TINYINT、SMALLINT、BIGINT、DECIMAL、FLOAT、DOUBLE数值数据类型;CHAR、VARCHARTEXT字符数据类型;DATE、TIME、DATETIME、TIMESTAMP日期类型;BLOB二进制数据类型.
数据库对象提供了数据库,表,索引,视图,存储过程,自定义函数等常用数据库对象的创建,修改和删除操作,支持数据库用户的创建,删除操作,以及用户权限的分配与回收.
行列混合存储基于创建的物理表,可以实现行存列的创建,修改和删除.
图形化工具提供了企业管理工具.
接口符合并支持CAPI、ODBC、JDBC、ADO.
NET等接口规范.
外围工具提供数据加载、导出、备份/恢复等外围工具.
GBase8a管理员手册南大通用数据技术股份有限公司-5-2基本管理2.
1系统安装这部分内容请参见《GBase8a安装手册(LinuxRHEL6》.
2.
2服务的启停当GBase8a安装完毕后,其中的gbase.
server服务需要手动启动,之后,每当开机和重新启动机器时,gbase.
server服务都需要手动启动.
如果用户在使用中,需要手工进行GBase服务的启停操作,则要使用安装GBase8a的用户进行操作.
具体命令如下:启动命令$gbase.
serverstart停止命令$gbase.
serverstop重新启动命令$gbase.
serverrestart更详细的介绍,参见《GBase8a安装手册(LinuxRHEL6)》.
2.
3修改数据库root用户的密码在安装GBase8a的用户下,可以进行GBase8a的登录.
默认情况下,在进行GBase8a的安装过程中,系统创建数据库超级帐号root,并且可以为它设置初始密码,如果在这个安装过程中,用户将root的密码设置为空,那么,用户还可以在首次登录GBase8a后,为root帐号设置一GBase8a管理员手册-6-南大通用数据技术股份有限公司个安全密码.
示例如下:安装GBase8a时,用户将root用户密码设置为空,此时,在第一次登录GBase8a时,可以继续为root用户设置密码.
$gbase.
-urootGBaseclient8.
5.
1.
2build27952.
Copyright(c)2004-2013,GBase.
AllRightsReserved.
gbase>SETPASSWORDFORroot=PASSWORD('H133%_h');QueryOK,0rowsaffected退出登录的命令为在gbase>提示符下,键入\q.
gbase>\qBye修改root的口令后,重新登录GBase8a.
$gbase-urootEnterpassword:GBaseclient8.
5.
1.
2build27952.
Copyright(c)2004-2013,GBase.
AllRightsReserved.
gbase>GBase8a管理员手册南大通用数据技术股份有限公司-7-3DDL与DML3.
1DDL3.
1.
1数据库CREATEDATABASE是用给定的名称来创建一个数据库.
用户需要获得创建数据库的权限,才可以使用CREATEDATABASE.
如果用户没有指定IFNOTEXISTS并且该数据库存在,则产生一个错误.
创建数据库CREATEDATABASEtest;CREATEDATABASEIFNOTEXISTStest;删除数据库DROPDATABASEtest;DROPDATABASEIFEXISTStest;3.
1.
2表用户可以通过CREATETABLE命令在当前数据库创建一个指定名称的表.
GBase8a支持两种表类型,普通表、和临时表.
表类型特点普通表就是符合SQL标准,使用CREATETABLE创建的表.
临时表使用TEMPORARY关键字,临时表被限制在当前连接中,当连接关闭时,临时表会自动地删除.
3.
1.
2.
1普通表GBase8a管理员手册-8-南大通用数据技术股份有限公司GBase8a支持可以通过下面的语法创建普通表:CREATETABLE[IFNOTEXISTS][database_name.
]tbl_name[(create_definition,.
.
.
)][table_options];table_options:[COMMENT'comment_value']删除普通表:DROPTABLE[IFEXISTS]tbl_name;创建普通表CREATETABLEt3(aint);删除表DROPTABLEt3;3.
1.
2.
2临时表GBase8a支持临时表,可以通过下面的语法创建临时表:CREATETEMPORARYTABLE[IFNOTEXISTS][database_name.
]tbl_name[(create_definition,.
.
.
)][table_options];table_options:[COMMENT'comment_value']删除临时表:DROP[TEMPORARY]TABLE[IFEXISTS]tbl_name;临时表生命周期为会话级,当前会话连接结束后自动删除.
GBase8a管理员手册南大通用数据技术股份有限公司-9-临时表支持普通表支持的所有相关操作,包括:DDL、DML、SHOWCREATETABLE、DESC、SELECT及TEMPORARYTABLE和普通表之间的关联等操作.
3.
1.
3视图GBase8a禁止对视图进行INSERT,DELETE,UPDATE动作.
创建视图CREATEVIEWv_tASSELECTa,bFROMt;CREATEORREPLACEVIEWv_tASSELECTbFROMt;CREATEORREPLACEVIEWv_t_1ASSELECTaFROMt;更改视图ALTERVIEWv_t(a,b)ASSELECT*FROMt;ALTERVIEWv_t(aa,bb)ASSELECTa,bFROMt;删除视图DROPVIEWIFEXISTSv_t,v_t_1;3.
1.
4存储过程和函数创建存储过程或函数.
下面介绍创建自定义存储过程的语法,在GBase8a里,我们为用户提供了对存储过程的支持.
存储过程(Procedure):CREATEPROCEDURE([[,…][,parameter_n]])[characteristic.
.
.
]GBase8a管理员手册-10-南大通用数据技术股份有限公司下面介绍创建自定义函数的语法,在GBase8a里,我们为用户提供了对自定义函数的支持.
函数(Function):CREATEFUNCTION([[,…][,parameter_n]])RETURNStype[characteristic.
.
.
]:[IN|OUT|INOUT]param_nametype而函数则没有[IN|OUT|INOUT]标记.
type:AnyvalidGBASEdatatypecharacteristic:LANGUAGESQL|[NOT]DETERMINISTIC|{CONTAINSSQL|NOSQL|READSSQLDATA|MODIFIESSQLDATA}|SQLSECURITY{DEFINER|INVOKER}|COMMENT'string'针对CONTAINSSQL,NOSQL,READSSQLDATA,MODIFIESSQLDATA的使用,需要注意的是,虽然可以一次性全部指定,但仅最后一个出现的关键字为有效的.
:这个语法参数是一系列的SQL语句的组合,其中包含一些数据操作以完成一定的功能逻辑.
GBase8a管理员手册南大通用数据技术股份有限公司-11-修改存储过程或函数ALTER{PROCEDURE|FUNCTION}sp_name[characteristic.
.
.
]characteristic:{CONTAINSSQL|NOSQL|READSSQLDATA|MODIFIESSQLDATA}|SQLSECURITY{DEFINER|INVOKER}|COMMENT'string'删除存储过程或函数DROP{PROCEDURE|FUNCTION}[IFEXISTS]sp_name3.
1.
5哈希索引使用哈希索引能提高等值精确查询的性能.
创建哈希索引时需明确指明创建哈希索引的列及该列所在的表.
哈希索引创建成功后,在数据存储介质上存放数据的位置会产生与索引相关的文件.
哈希索引有两种类型,一种是全局索引,称为全局哈希索引,基于表中整列建立索引;一种是局部索引,称局部哈希索引,基于表中第一个DC建立索引.
创建哈希索引后,基于索引列的等值查询的性能会提高,尤其是表中的数据量非常大的情况,在小数据量的情况下,哈希索引对性能的提升效果不明显.
支持创建哈希索引的数据类型,见下表:可创建索引的数据类型TINYINTSAMLLINTINTBIGINTFLOATDOUBLEGBase8a管理员手册-12-南大通用数据技术股份有限公司可创建索引的数据类型DECIMALCHARVARCHARDATEDATETIMETIME创建全局哈希索引CREATEINDEXIDX_T1_AONT1(A)USINGHASHGLOBAL;创建局部哈希索引CREATEINDEXIDX_T2_AONT2(A)USINGHASHLOCAL;删除索引DROPINDEXIDX_T1_AONT1;DROPINDEXIDX_T2_AONT2;使用限制说明:二进制类型的列不适合使用哈希索引;或者该列数据量较大,但distinct值较少时,也不适合使用哈希索引.
创建索引时,只能指定单列,不能指定多列创建联合索引.
同一表上不能创建相同名称的哈希索引,同一表的同一列上能且只能创建一个哈希索引.
3.
2DML使用GBase8a批量执行INSERT、UPDATE、DELETE等操作的性能,高于单条执行这些操作.
3.
2.
1INSERTGBase8a管理员手册南大通用数据技术股份有限公司-13-GBase8a支持向表中插入数据.
INSERT[INTO][database_name.
]tbl_name[(col_name,.
.
.
)]VALUES({expr|DEFAULT}或INSERT[INTO][database_name.
]tbl_name[(col_name,.
.
.
)]SELECT.
.
.
FROM[database_name.
]tbl_name;创建表t1和t2CREATETABLEt1(idint);CREATETABLEt2(idint);示例:插入数据gbase>INSERTINTOt1VALUES(1),(2),(3),(4),(5),(6),(2),(3),(1);QueryOK,9rowsaffectedRecords:9Duplicates:0Warnings:0gbase>INSERTINTOt2SELECT*FROMt1;QueryOK,9rowsaffectedRecords:9Duplicates:0Warnings:03.
2.
2UPDATEGBase8a支持更新表中数据.
语法:UPDATE[database_name.
]tbl_nameSETcol_name1=expr1[,col_name2=expr2.
.
.
][WHEREwhere_definition]创建表t1GBase8a管理员手册-14-南大通用数据技术股份有限公司CREATETABLEt1(idint);表t1中插入数据INSERTINTOt1VALUES(1),(2),(3),(4),(5),(6),(2),(3),(1);示例:更新表中数据gbase>UPDATEt1SETt0.
id=t0.
id+1WHEREt0.
id>1;QueryOK,7rowsaffected3.
2.
3DELETEGBase8a支持删除表中数据.
语法:DELETE[FROM][database_name.
]tbl_name[tbl_alias][WHEREwhere_definition]创建表t1CREATETABLEt(aint);示例1:标准删除语句.
gbase>INSERTINTOtVALUES(1),(2),(3),(4),(5);gbase>DELETEFROMtWHEREa=2;QueryOK,1rowaffected示例2:省略关键字FROM的删除.
gbase>INSERTINTOtVALUES(1),(2),(3),(4),(5);gbase>DELETEtWHEREa=2;QueryOK,1rowaffected示例3:按照别名删除,同时省略掉FROM关键字.
gbase>INSERTINTOtVALUES(1),(2),(3),(4),(5);GBase8a管理员手册南大通用数据技术股份有限公司-15-gbase>DELETEtttWHEREtt.
a=2;QueryOK,1rowaffectedGBase8a管理员手册-16-南大通用数据技术股份有限公司4审计日志4.
1简介审计日志最重要的作用,就是用于监控SQL执行性能,当一些SQL语句的执行用时大于long_query_time设定值的时候,审计日志便将这些SQL语句记录下来,方便用户针对这些执行效率低下的SQL语句进行分析,优化,改写,从而提高SQL语句的执行效率.
审计日志记录的主要内容如下:thread_id:线程号,同processlist中的ID;taskid:每个sql任务编号;start_time:开始执行时间;end_time:结束执行时间;user_host:登录的用户和IP,显示格式为:priv_user[user]@hostname[ip];user:用户名;host_ip:用户登录端IP地址;query_time:执行语句所用时间;rows:行数;db:执行语句所针对的数据库;table_list:涉及表,格式:``.
`sql_text:记录执行用时大于long_query_time设定值的SQL语句;sql_type:sql类型,如DDL、DML、DQL、OTHERS;sql_command:sql命令类型,如SELECT、UPDATE,INSERT,LOAD等;GBase8a管理员手册南大通用数据技术股份有限公司-17-algorithms:涉及的算子,比如JOIN、WHERE、GROUP、HAVING等;status:sql执行状态,如SUCCESS、FAILED、KILLED等;conn_type:用户登录方式(CAPI、ODBC、JDBC、ADO.
NET、STUDIO);其中sql_command的取值范围为:INSERT、DELETE、UPDATE、LOAD、CREATEUSER、CREATEDB、CREATETABLE、CREATEVIEW、CREATEINDEX、CREATEPROCEDURE、CREATEFUNCTION、RENAMEUSER、ALTERDB、ALTERTABLE、ALTERPROCEDURE、ALTERFUNCTION、ALTEREVENT、DROPUSER、DROPDB、DROPTABLE、DROPVIEW、DROPINDEX、DROPPROCEDURE、DROPFUNCTION、DROPEVENT、TRUNCATE、GRANT、REVOKE、SELECT和OTHERS.
algorithms的取值范围为:START_WITH、CONNECT_BY、JOIN、WHERE、GROUP、OLAP_GROUP、HAVING、OLAP_FUNC、DISTINCT、ORDER和LIMIT.
若一个SQL涉及多个算子,各算子之间用逗号分割.
目前,用户每次查看的审计日志为登录节点机器上的日志内容.
4.
2配置参数可以使用如下配置方式:使用配置audit_log参数的方式开启或关闭审计日志.
需要配置为全局级变量(默认为0,即关闭审计日志).
SETGLOBALaudit_log=0;或SETGLOBALaudit_log=1;配置long_query_time参数,决定执行时间超过多少时长的操作会被记入审计日志(默认为10秒).
SETlong_query_time=5;(当前会话生效)或GBase8a管理员手册-18-南大通用数据技术股份有限公司SETGLOBALlong_query_time=5;(如果将本参数设置为全局变量,在本配置生效后,所有新建会话生效)配置审计日志输出方式,必须设成表形式(即设为table,就能以表形式输出审计日志).
SETGLOBALlog_output='table';4.
3存储方式GBase8a使用如下方式存储这些内容:审计日志的信息存储在系统表gbase.
audit_log中.
4.
4使用约束审计日志用于记录所有的SQL操作,对于包含结果集行数的统计操作,只涉及以下4种DML操作:SELECT、DELETE、INSERT和UPDATE.
清空audit_log时,需要使用TRUNCATEaudit_log语句,一般情况下,建议每2-3个月可以TRUNCATE一次audit_log表,用于清除陈旧日志信息,避免数据过多,影响日后的分析.
4.
5使用示例示例1:使用系统表查看审计日志.
$gbase-uroot-pEnterpassword:GBaseclient8.
5.
1.
2build37185.
Copyright(c)2004-2013,GBase.
AllRightsReserved.
gbase>SETGLOBALaudit_log=1;QueryOK,0rowsaffectedGBase8a管理员手册南大通用数据技术股份有限公司-19-gbase>SETlong_query_time=0;QueryOK,0rowsaffectedgbase>SETGLOBALlog_output='table';QueryOK,0rowsaffectedgbase>DROPUSERtzt;QueryOK,0rowsaffectedgbase>DROPDATABASEtest;QueryOK,1rowaffectedgbase>CREATEUSERtztidentifiedby'tzt';QueryOK,0rowsaffectedgbase>GRANTALLON*.
*TOtzt@'%';QueryOK,0rowsaffectedgbase>CREATEDATABASEtest;QueryOK,1rowaffectedgbase>USEtest;QueryOK,0rowsaffectedgbase>CREATETABLEt1(iint);QueryOK,0rowsaffectedgbase>INSERTINTOt1VALUES(1),(2);QueryOK,2rowsaffectedRecords:2Duplicates:0Warnings:0gbase>SELECTstart_time,user_host,query_time,rows,LEFT(sql_text,30),conn_typeFROMgbase.
audit_log;|start_time|user_host|GBase8a管理员手册-20-南大通用数据技术股份有限公司|2015-01-3015:23:12|root[root]@localhost[127.
0.
0.
1]||2015-01-3015:23:27|root[root]@localhost[127.
0.
0.
1]||2015-01-3015:23:35|root[root]@localhost[127.
0.
0.
1]||2015-01-3015:23:35|root[root]@localhost[127.
0.
0.
1]||2015-01-3015:23:46|root[root]@localhost[127.
0.
0.
1]||2015-01-3015:23:54|root[root]@localhost[127.
0.
0.
1]||2015-01-3015:24:02|root[root]@localhost[127.
0.
0.
1]||2015-01-3015:24:09|root[root]@localhost[127.
0.
0.
1]||2015-01-3015:24:21|root[root]@localhost[127.
0.
0.
1]||2015-01-3015:24:35|root[root]@localhost[127.
0.
0.
1]||query_time|rows|LEFT(sql_text,30)|conn_type||00:00:00.
090623|0|(1)SETGLOBALlog_output='ta|CAPI||00:00:00.
000953|0|(1)DROPUSERtzt|CAPI||00:00:00.
109080|0|(1)DROPDATABASEtest|CAPI||00:00:00.
002490|1|(1)SELECTDATABASE()|CAPI||00:00:00.
000464|0|(1)CREATEUSERtztidentified|CAPI||00:00:00.
000404|0|(1)GRANTALLON*.
*TOtzt@'%'|CAPI||00:00:00.
009732|0|(1)CREATEDATABASEtest|CAPI||00:00:00.
000102|0|(1)USEtest|CAPI||00:00:00.
036431|0|(1)CREATETABLEt1(iint)|CAPI||00:00:00.
034718|2|(1)INSERTINTOt1VALUES(1),(|CAPI|10rowsinsetgbase>INSERTINTOt1SELECT*FROMt1;QueryOK,2rowsaffectedRecords:2Duplicates:0Warnings:0gbase>UPDATEt1SETi=3;QueryOK,4rowsaffectedRowsmatched:4Changed:4Warnings:0gbase>DELETEFROMt1;GBase8a管理员手册南大通用数据技术股份有限公司-21-QueryOK,4rowsaffectedgbase>SELECTstart_time,user_host,query_time,rows,LEFT(sql_text,30),conn_typeFROMgbase.
audit_log;|start_time|user_host|2015-01-3015:23:12|root[root]@localhost[127.
0.
0.
1]|2015-01-3015:23:27|root[root]@localhost[127.
0.
0.
1]|2015-01-3015:23:35|root[root]@localhost[127.
0.
0.
1]|2015-01-3015:23:35|root[root]@localhost[127.
0.
0.
1]|2015-01-3015:23:46|root[root]@localhost[127.
0.
0.
1]|2015-01-3015:23:54|root[root]@localhost[127.
0.
0.
1]|2015-01-3015:24:02|root[root]@localhost[127.
0.
0.
1]|2015-01-3015:24:09|root[root]@localhost[127.
0.
0.
1]|2015-01-3015:24:21|root[root]@localhost[127.
0.
0.
1]|2015-01-3015:24:35|root[root]@localhost[127.
0.
0.
1]|2015-01-3015:24:45|root[root]@localhost[127.
0.
0.
1]|2015-01-3016:20:54|root[root]@localhost[127.
0.
0.
1]|2015-01-3016:25:11|root[root]@localhost[127.
0.
0.
1]|2015-01-3016:25:29|root[root]@localhost[127.
0.
0.
1]|query_time|rows|LEFT(sql_text,30)|conn_type||00:00:00.
090623|0|(1)SETGLOBALlog_output='ta|CAPI||00:00:00.
000953|0|(1)DROPUSERtzt|CAPI||00:00:00.
109080|0|(1)DROPDATABASEtest|CAPI||00:00:00.
002490|1|(1)SELECTDATABASE()|CAPI||00:00:00.
000464|0|(1)CREATEUSERtztidentified|CAPI||00:00:00.
000404|0|(1)GRANTALLON*.
*TOtzt@'%'|CAPI||00:00:00.
009732|0|(1)CREATEDATABASEtest|CAPI||00:00:00.
000102|0|(1)USEtest|CAPI||00:00:00.
036431|0|(1)CREATETABLEt1(iint)|CAPI||00:00:00.
034718|2|(1)INSERTINTOt1VALUES(1),(|CAPI||00:00:00.
001751|10|(1)SELECTstart_time,user_host|CAPI|GBase8a管理员手册-22-南大通用数据技术股份有限公司|00:00:00.
029832|2|(1)INSERTINTOt1SELECT*FRO|CAPI||00:00:00.
013553|4|(1)UPDATEt1SETi=3|CAPI||00:00:00.
009300|4|(1)DELETEFROMt1|CAPI|14rowsinsetGBase8a管理员手册南大通用数据技术股份有限公司-23-5权限管理5.
1用户管理用户可以使用CREATEUSER语句创建一个新的GBase8a帐号.
更多关于用户管理的语法说明,请参见《GBase8aSQL参考手册》的相关章节内容.
下面通过两个示例,介绍创建用户和更改用户密码的操作过程.
示例1:使用超级用户root登录,创建一个用户user1.
$gbase-uroot-pEnterpassword:GBaseclient8.
5.
1.
2build27952.
Copyright(c)2004-2013,GBase.
AllRightsReserved.
gbase>CREATEUSERuser1;QueryOK,0rowsaffected示例2:使用超级用户root登录,修改用户user1的密码,然后使用user1的新密码登录.
$gbase-uroot-pEnterpassword:GBaseclient8.
5.
1.
2build27952.
Copyright(c)2004-2013,GBase.
AllRightsReserved.
gbase>SETPASSWORDFORuser1=PASSWORD('H133%_h');QueryOK,0rowsaffected退出登录,使用use1用户登录,验证修改口令的正确性.
GBase8a管理员手册-24-南大通用数据技术股份有限公司$gbase-uuser1-pEnterpassword:GBaseclient8.
5.
1.
2build27952.
Copyright(c)2004-2013,GBase.
AllRightsReserved.
gbase>5.
2权限管理在实际的项目中,建议用户规划好不同的数据库用户的职责,并给它赋予相应的操作权限,用以保证数据库的安全操作.
更多关于权限的的语法说明,请参见《GBase8aSQL参考手册》的相关章节内容.
下面通过两个示例,介绍权限管理的操作过程.
示例1:使用超级用户root,创建一个user_general用户,该用户具备SELECT操作的权限.
$gbase-uroot-pEnterpassword:GBaseclient8.
5.
1.
2build27952.
Copyright(c)2004-2013,GBase.
AllRightsReserved.
gbase>CREATEUSERuser_general;QueryOK,0rowsaffectedgbase>SETPASSWORDFORuser_general=PASSWORD('H%897_@m');QueryOK,0rowsaffected--只赋予SELECT权限.
*.
*代表所有数据库的数据库对象,例如:表,视图,存储过程.
GBase8a管理员手册南大通用数据技术股份有限公司-25-gbase>GRANTSELECTON*.
*TOuser_general;QueryOK,0rowsaffectedgbase>\qBye--使用user_general登录数据库,验证其只具备SELECT权限.
--存在test数据库和一张t1表,这只是为演示示例提前创建完毕的.
$gbase-uuser_general-pEnterpassword:GBaseclient8.
5.
1.
2build27952.
Copyright(c)2004-2013,GBase.
AllRightsReserved.
gbase>USEtest;QueryOK,0rowsaffectedgbase>UPDATEt1SETa=11WHEREa=10;ERROR1142(42000):UPDATEcommanddeniedtouser'user_general'@'localhost'fortable't1'gbase>DELETEFROMt1;ERROR1142(42000):DELETEcommanddeniedtouser'user_general'@'localhost'fortable't1'gbase>SELECT*FROMt1;+------+|a|+------+|1||2||3||4||5||6||7|GBase8a管理员手册-26-南大通用数据技术股份有限公司|8||9||10|+------+10rowsinset示例2:使用超级用户root,创建一个user_admin用户,该用户具备超级用户的权限,即全部的权限.
$gbase-uroot-pEnterpassword:GBaseclient8.
5.
1.
2build27952.
Copyright(c)2004-2013,GBase.
AllRightsReserved.
gbase>CREATEUSERuser_admin;QueryOK,0rowsaffectedgbase>SETPASSWORDFORuser_admin=PASSWORD('H%897_@m');QueryOK,0rowsaffected--赋予全部权限.
*.
*代表所有数据库的数据库对象,例如:表,视图,存储过程.
gbase>GRANTALLON*.
*TOuser_admin;QueryOK,0rowsaffectedgbase>\qBye--使用user_admin登录数据库,验证其只具备SELECT权限.
--存在test数据库和一张t1表,这只是为演示示例提前创建完毕的.
$gbase-uuser_admin-pEnterpassword:GBase8a管理员手册南大通用数据技术股份有限公司-27-GBaseclient8.
5.
1.
2build27952.
Copyright(c)2004-2013,GBase.
AllRightsReserved.
gbase>USEtest;QueryOK,0rowsaffected--可以SELECT数据.
gbase>SELECT*FROMt1;+------+|a|+------+|1||2||3||4||5||6||7||8||9||10|+------+10rowsinset--可以UPDATE数据.
gbase>UPDATEt1SETa=11WHEREa=10;QueryOK,1rowaffectedgbase>SELECT*FROMt1;+------+|a|+------+|1||2||3||4|GBase8a管理员手册-28-南大通用数据技术股份有限公司|5||6||7||8||9||11|+------+10rowsinset--可以DELETE数据.
gbase>DELETEFROMt1WHEREa>=5;QueryOK,6rowsaffectedgbase>SELECT*FROMt1;+------+|a|+------+|1||2||3||4|+------+4rowsinset--可以CREATE用户.
gbase>CREATEUSERuse_test;QueryOK,0rowsaffected--可以DROP用户.
gbase>DROPUSERuse_test;QueryOK,0rowsaffectedGBase8a管理员手册南大通用数据技术股份有限公司-29-6图形化管理工具6.
1企业管理器GBase8a企业管理器是GBase8a提供的一个图形化集成环境,用于访问、配置、控制、管理GBase8a的数据对象.
它将一组多样化的图形工具与功能丰富的SQL脚本编辑器组合在一起,通过它数据库管理员能够以图形化方式和SQL命令行方式与GBase8aServer交互.
GBase8a企业管理器使用JDBCDriver与GBase8a建立连接,通过JDBC接口与GBase8a进行交互.
使用GBase8a企业管理器可以完成如下工作:管理多台GBase8a数据库服务器.
可视化管理数据库、表、索引、视图、存储过程和函数等数据对象.
可视化创建用户、赋予用户权限、编辑用户和删除用户.
可视化浏览、编辑表中的数据记录.
编辑、执行SQL脚本.
使用SQL模板编辑、执行SQL脚本.
可视化查看本地日志.
关于企业管理器的安装,使用的内容介绍,请查看《GBase8a管理工具手册》.
GBase8a管理员手册-30-南大通用数据技术股份有限公司7加载功能在V8.
6.
1.
1版本GBase8a中,加载功能直接集成在GBase8a内部,不需要额外部署外部加载工具.
与V8.
5.
1.
2版本单机加载工具相比,新版加载工具具备如下一些特性和优点:1)提供面向用户的SQL接口,更符合用户的使用习惯;2)支持从通用数据服务器拉取数据,支持ftp/http/hdfs/sftp等多种协议;3)支持普通文本、gzip压缩、snappy压缩、lzo压缩等多种格式数据文件;4)支持普通文本与定长文本的加载(format3和format4),并与V8.
5.
1.
2版本格式兼容;5)支持错误数据溯源功能,可以准确定位错误数据在源文件中的位置;7.
1语法格式GBase8a支持通过SQL接口进行数据加载.
语法:LOADDATAINFILE'file_list'INTOTABLEtbl_name[options]tbl_name:[database_name.
]table_nameGBase8a管理员手册南大通用数据技术股份有限公司-31-options:[DATA_FORMATnumber[HAVINGLINESSEPARATOR]][NULL_VALUE'string'][FIELDS[TERMINATEDBY'string'][ENCLOSEDBY'string'][PRESERVEBLANKS][AUTOFILL][{LENGTH|DEFINER}'string'][TABLE_FIELDS'string']][LINES[TERMINATEDBY'string']][MAX_BAD_RECORDSnumber][DATETIMEFORMATformat][DATEFORMATformat][TIMESTAMPFORMATformat][TIMEFORMATformat][TRACEnumber][TRACE_PATH'string'][PARALLELnumber][SKIP_BAD_FILEnumber][SETcol_name=value[,.
.
.
]]参数说明:FILE_LIST:待加载文件列表.
支持以本地文件方式和URL方式指定数据文件路径,以英文逗号(',')作为多个文件的分隔符.
scheme://[user:password@]host[:port]/path,GBase8a管理员手册-32-南大通用数据技术股份有限公司scheme://[user:password@]host[:port]/path同时文件名、目录部分均支持使用通配符,具体如下表所示.
默认对路径及文件进行匹配.
当关闭目录、文件通配功能时,对于SQL中出现的通配符按7.
2节的使用约束当做特殊字符处理.
通配符含义说明*匹配0或多个字符a*ba与b之间可以有任意长度的任意字符,也可以一个也没有,如aabcb,axyzb,a012b,ab.
匹配任意一个字符aba与b之间必须也只能有一个字符,可以是任意字符,如aab,abb,acb,a0b.
[list]匹配list中的任意单一字符a[xyz]ba与b之间必须也只能有一个字符,但只能是x或y或z,如:axb,ayb,azb.
[!
list]匹配除list中的任意单一字符a[!
0-9]ba与b之间必须也只能有一个字符,但不能是阿拉伯数字,如axb,aab,a-b.
[c1-c2]匹配c1-c2中的任意单一字符如:[0-9][a-z]a[0-9]b0与9之间必须也只能有一个字符如a0b,a1b.
.
.
a9b.
{string1,string2,.
.
.
}(此功能不支持,{}作为普通字符处理)匹配sring1或string2(或更多)其一字符串,string也可以是通配符a{abc,xyz,123}ba与b之间只能是abc或xyz或123这三个字符串之一.
(匹配三次,得到三次的结果,即最多可以有三个重复的结果){1.
.
3}.
txt这种情况就只可能是1.
txt或2.
txt或3.
txta{1,2}b{3,4}这样会依次匹配输出结果是a1b3a1b4a2b3a2b4例如:http://10.
10.
1.
1/data/tblGBase8a管理员手册南大通用数据技术股份有限公司-33-OPTIONS:DATA_FORMAT:用来指定使用哪种方式解析数据文件并加载.
指定为3,表示使用文本方式加载.
指定为4,表示使用定长方式加载.
如果某列数据可能包含了行分隔符,则需要在SQL中输入'HAVINGLINESSEPARATOR'子句.
指定为5,表示使用文本文件宽松模式,即数据源文件为包围符中含有换行符和包围符文本文件,或多列少列文本文件.
NULL_VALUE:用于指定空值字符,支持不超过15个任意字符的组合,参数值以引号包围,指定方式与字段包围符一样.
FIELDS子段:TERMINATEDBY:用于指定字段分隔符,支持不超过15个任意字符的组合,支持任意字符,参数值以单引号包围,仅当使用文本方式加载时有效.
可使用字符本身(仅限可见字符,如:"|")、C风格转义字符(如:"\a")、\xhh十六进制(如:"\xFF")或x''十六进制(如:"x'09'")四种方式指定.
例如:'|',表示用|作为分隔字符.
ENCLOSEDBY:用于指定字段包围符,支持任意单字符,参数值以单引号包围,仅当使用文本方式加载时有效.
可使用字符本身(仅限可见字符,如:"|")、C风格转义字符(如:"\a")、\xhh十六进制(如:"\xFF")或x''十六进制(如:"x'09'")四种方式指定.
PRESERVEBLANKS:用于设定是否保留字段内容两端的空格,默认不保留空格.
AUTOFILL:用于设定是否启用缺失列自动补齐功能,启用该参数后,对缺失分割符的字段数据按照default值或者NULL值进行加载,默认不自动补齐.
LENGTH|DEFINER:在使用定长模式加载时,用于设定字段长度的参数.
定长格式数据导入时,设置每个字段的长度,有多个字段时,用逗号分隔.
TABLE_FIELDS:用于指定列加载,对于日期时间类型可以设置每一列的格GBase8a管理员手册-34-南大通用数据技术股份有限公司式.
SET:指定列值加载,加载系统将待加载文件和指定加载列值加载到集群系统的表中.
输入的类型应为常量,包括字符串、整数值、浮点值和NULL.
1、支持指定所有列类型加载值;2、指定列值为常量值(包括NULL),包括字符串(单引号包围)、十进制数值(10)、浮点值(10.
9)、NULL、16进制表示的字符串(0xbac3)、科学计数法(10e4);3、支持多列同时指定加载值.
最多可SET表列数-1,如果设置的列数与表定义中的列数一致将报错:Specifiedallfields.
4、支持format=3、format=4以及format=5;使用限制说明:1、输入除常量值外的其他值,如列名、表达式等会报错,报错信息为Column'addr'shouldbeconstvalue;2、指定的列不能存在于TABLE_FIELDS中,否则报错;3、如果没有指定AUTOFILL,指定值的列数+数据中列数之和必须等于表定义或者TABLE_FIELDS(若指定了TABLE_FIELDS)中的列数,否则会产生错误数据;如果指定了AUTOFILL,则可以小于表定义的列数,缺少的列会自动补全.
如果TABLE_FIELDS列数+SET列数小于表定义的列数,能够正常加载,没有涉及的列按照default值补齐;4、同一列在SQL中不能重复指定,否则报错.
LINES子段:TERMINATEDBY:行分隔符,支持任意单字符,参数值以引号包围.
指定方式与包围符一样.
默认行分隔符为'\n'.
GBase8a管理员手册南大通用数据技术股份有限公司-35-MAX_BAD_RECORDS:在每次加载的任务中,设定错误数据行数的上限.
当本次加载任务产生的错误数据行数大于max_bad_records设定的值时,加载任务回滚,加载工具报错退出.
此参数取值范围为:[0,4294967295].
此参数为可选参数,默认不限制错误条数.
0表示只要有错误数据就报错退出.
DATEFORMAT:用来指定date列类型的默认格式,默认为'%Y-%m-%d'.
DATETIMEFORMAT:用来指定datetime列的默认格式,默认为'%Y-%m-%d%H:%i:%s'.
TIMESTAMPFORMAT:用来指定timestamp列的默认格式,默认为'%Y-%m-%d%H:%i:%s'.
TIMEFORMAT:用来指定time列的默认格式,默认为'%H:%i:%s'.
TRACE:用来指示本次加载是否保存错误数据溯源.
如果指定为0,则不溯源.
如果指定为1,则进行溯源.
默认值为1.
溯源信息包括:错误数据所在的文件,所在行号.
TRACE_PATH:用来指定本次加载过程中产生的错误数据和日志存放路径.
缺省情况下,错误数据和溯源日志记录在加载机节点的/opt/gnode/log/gbase/loader_logs下.
新版支持加载错误数据和溯源信息日志直接上传至FTP/SFTP服务器.
可以由参数trace_path指定上传的路径,如:trace_path'ftp://gbase:gbase@192.
168.
6.
15/loadlogs'.
注意上传ftp功能需要在gbase_loader_logs_collect=0的情况下起效.
PARALLEL:用来控制加载并行度,取值范围[0,1024].
默认值为0,表示并行度取值是线程池最大可用线程数.
SKIP_BAD_FILE:用来指定本次加载任务中是否忽略不存在或没有读取权限的数据文件继续加载.
如果指定为0,则加载报错终止.
如果指定为1,则忽略异常文件继续加载.
默认值为0.
GBase8a管理员手册-36-南大通用数据技术股份有限公司7.
2使用约束1.
当使用定长加载模式时,必须指定FIELDSLENGTH的值.
2.
当使用文本加载模式时,NULL_VALUE的默认值为'\N'.
3.
当使用文本加载方式时,行分隔符默认为'\n'.
4.
当使用文本加载方式时,如果某列数据可能包含了行分隔符,则需要在SQL中输入'HAVINGLINESSEPARATOR'子句,同时需要输入入'ENCLOSEDBY'指定字段包围符5.
当在加载文件列表的URL中的用户名(user)、密码(password)、主机名(host)或文件路径(path)中包含下表所列的特殊字符时,对特殊字符需要用百分号编码代替.
URL:scheme://[user:password@]host[:port]/path百分号编码=%+特殊字符的两字符十六进制值特殊字符百分号编码说明%%25要求百分号编码:%3A标准gen-delims要求百分号编码/%2F%3F#%23[%5B]%5D@%40!
%21标准sub-delims建议百分号编码$%24&%26'%27(%28)%29GBase8a管理员手册南大通用数据技术股份有限公司-37-*%2A+%2B,%2C;%3B=%3D\%5C标准中未列字符建议百分号编码"%22%3E空格%20以下斜体字内容引用自标准RFC-3986,虽然可能部分保留字符也不会引起URI解析问题,但仍建议对所有非保留字符外的字符均使用百分号编码.
更详尽的URI编码规则请参阅标准RFC-3986文档.
2.
1.
Percent-Encodingpct-encoded="%"HEXDIGHEXDIG2.
2.
ReservedCharactersreserved=gen-delims/sub-delimsgen-delimssub-delims2.
3.
UnreservedCharactersunreserved=ALPHA/DIGIT示例:FTP用户名为test,密码为abc/def错误:gbase>loaddatainfile'ftp://test:abc/def@192.
168.
0.
1/data/*.
tbl'intotabletdata_format3;正确:gbase>loaddatainfile'ftp://test:abc%2Fdef@192.
168.
0.
1/data/*.
tbl'intotabletdata_format3;GBase8a管理员手册-38-南大通用数据技术股份有限公司6.
当在加载文件列表的URL中的用户名(user)、密码(password)、主机名(host)或文件路径(path)中包含下表所列的特殊字符时,对特殊字符需要用转义字符代替.
特殊字符转义字符说明\\\要求用转义字符'\'要求用转义字符注:如果上表所列特殊字符已用百分号编码,则无需再用转义字符代替.
示例:FTP用户名为test,密码为abc\def错误:gbase>loaddatainfile'ftp://test:abc\def@192.
168.
0.
1/data/*.
tbl'intotabletdata_format3;正确:gbase>loaddatainfile'ftp://test:abc\\def@192.
168.
0.
1/data/*.
tbl'intotabletdata_format3;7.
宽松模式处理规则与文本方式加载处理规则不一致的有:行分隔符、列分隔符、包围符仅支持单字符(单字节),指定多字符报错;数据中有空值时,入库数据为null,不是default值,设定default值对加载结果没有影响;支持超宽列自动截断;数据文件的包围符、列分隔符与设置的不一致,如果第一列为字符型,数据截断入库,后面的字段都为空值;如果第一列为数值型,则都为错误数据.
指定auto_fill_column,在少列的时候自动补齐,无论列定义是否有default值,都会用null值补齐缺失列,而不是default值.
7.
3使用示例1.
以文本方式加载位于FTP服务器上的a.
tbl文件,使用默认行分隔符GBase8a管理员手册南大通用数据技术股份有限公司-39-和默认列分隔符.
LOADDATAINFILE'ftp://127.
0.
0.
1/data/a.
tbl'INTOTABLEtest.
tDATA_FORMAT3;2.
以文本方式加载位于FTP服务器上的a.
tbl文件,使用默认行分隔符,并指定'|'为列分隔符.
LOADDATAINFILE'ftp://127.
0.
0.
1/data/a.
tbl'INTOTABLEtest.
tDATA_FORMAT3FIELDSTERMINATEDBY'|';3.
以文本方式加载位于FTP服务器上data目录下的所有扩展名为tbl文件,使用默认行分隔符和默认列分隔符.
LOADDATAINFILE'ftp://127.
0.
0.
1/data/*.
tbl'INTOTABLEtest.
tDATA_FORMAT3;4.
以文本方式加载位于FTP服务器上的a.
tbl文件,字段内容中有默认行分隔符'\n',指定字段包围符'"'.
LOADDATAINFILE'ftp://127.
0.
0.
1/data/a.
tbl'INTOTABLEtest.
tDATA_FORMAT3HAVINGLINESSEPARATORFIELDSENCLOSEDBY'"';5.
以文本方式加载位于FTP服务器上的a.
tbl文件,指定空值'\N',保留字段两端空格,并自动补齐缺失列.
LOADDATAINFILE'ftp://127.
0.
0.
1/data/a.
tbl'INTOTABLEtest.
tDATA_FORMAT3NULL_VALUE'\\N'FIELDSPRESERVEBLANKSAUTOFILL;6.
以文本方式加载位于FTP服务器上的a.
tbl文件,指定行分隔符'|',使用默认列分隔符.
LOADDATAINFILE'ftp://127.
0.
0.
1/data/a.
tbl'INTOTABLEtest.
tGBase8a管理员手册-40-南大通用数据技术股份有限公司DATA_FORMAT3LINESTERMINATEDBY'|';7.
以定长方式加载位于HTTP服务器上的b.
tbl文件,使用默认行分隔符.
LOADDATAINFILE'http://127.
0.
0.
1/data/b.
tbl'INTOTABLEtest.
tDATA_FORMAT4FIELDSLENGTH'20,11,10'TABLE_FIELDS'name,mphone,birthdaydate"%m-%d-%Y"';8.
以文本方式加载位于HTTP服务器上的b.
tbl.
gz压缩文件,使用默认行分隔符和默认列分隔符.
LOADDATAINFILE'ftp://127.
0.
0.
1/data/b.
tbl.
gz'INTOTABLEtest.
tDATA_FORMAT3;9.
以文本方式加载位于HDFS服务器上的a.
tbl.
snappy压缩文件,使用默认行分隔符和默认列分隔符.
LOADDATAINFILE'hdp://gbase:gbase@127.
0.
0.
1:50070/data/a.
tbl.
snappy'INTOTABLEtest.
tDATA_FORMAT3;10.
以文本方式加载位于FTP服务器上的a.
tbl文件,指定错误数据溯源,并指定错误数据和日志存放路径.
LOADDATAINFILE'ftp://127.
0.
0.
1/data/a.
tbl'INTOTABLEtest.
tDATA_FORMAT3TRACE1TRACE_PATH'/home/gbase/loader_logs'11.
以文本方式加载位于FTP服务器上的a.
tbl文件,指定默认日期时间格式.
LOADDATAINFILE'ftp://127.
0.
0.
1/data/a.
tbl'INTOTABLEtest.
tDATA_FORMAT3DATETIMEFORMAT'%H:%i:%s%Y-%m-%d';GBase8a管理员手册南大通用数据技术股份有限公司-41-12.
以文本方式加载位于FTP服务器上的a.
tbl文件,指定最大允许错误条数.
LOADDATAINFILE'ftp://127.
0.
0.
1/data/a.
tbl'INTOTABLEtest.
tDATA_FORMAT3MAX_BAD_RECORDS013.
以文本方式加载位于FTP服务器上的test.
tbl.
lzo压缩文件,使用默认行分隔符和默认列分隔符.
LOADDATAINFILE'ftp://127.
0.
0.
1/data/test.
tbl.
lzo'INTOTABLEtest.
tDATA_FORMAT3;14.
以文本方式加载位于SFTP服务器上的a.
tbl文件,使用默认行分隔符和默认列分隔符,用sftp://user:password@host/path方式指定SFTP服务器的用户名和密码.
LOADDATAINFILE'sftp://gbase:gbase@127.
0.
0.
1/data/a.
tbl'INTOTABLEtest.
tDATA_FORMAT3;15.
以文本方式加载位于FTP服务器上的a.
tbl文件,指定忽略异常文件.
LOADDATAINFILE'ftp://127.
0.
0.
1/data/a.
tbl'INTOTABLEtest.
tDATA_FORMAT3SKIP_BAD_FILE1;16.
以文本方式加载位于FTP服务器上的a.
tbl文件,使用默认行分隔符和默认列分隔符,用ftp://user:password@host/path方式指定FTP服务器的用户名和密码.
LOADDATAINFILE'ftp://gbase:gbase@127.
0.
0.
1/data/a.
tbl'INTOTABLEtest.
tDATA_FORMAT3;17.
以文本方式加载位于HTTP服务器上的a.
tbl文件,使用默认行分隔符GBase8a管理员手册-42-南大通用数据技术股份有限公司和默认列分隔符,用http://user:password@host/path方式指定HTTP服务器的用户名和密码.
LOADDATAINFILE'http://gbase:gbase@127.
0.
0.
1/data/a.
tbl'INTOTABLEtest.
tDATA_FORMAT3;7.
4数据服务器配置V8.
6.
1.
1版本加载功能支持从通用数据服务器拉取数据,支持ftp/http/hdfs等多种协议.
以下简要描述RedHatEnterpriseLinux6.
2平台上FTP、HTTP和HDFS三种通用文件服务器的配置方法.
7.
4.
1FTP服务器配置使用vsftp搭建FTP服务器1.
查看是否已安装vsftpd#rpm-qavsftpdvsftpd-2.
2.
2-6.
el6_0.
1.
x86_642.
安装vsftpd#rpm-ivhvsftpd-2.
2.
2-6.
el6_0.
1.
x86_64.
rpm3.
修改FTP服务器默认配置#vim/etc/vsftpd/vsftpd.
conf#表示允许匿名用户登录(默认为YES).
anonymous_enable=YES#表示允许本地用户登录(默认为YES).
GBase8a管理员手册南大通用数据技术股份有限公司-43-local_enable=YES#表示开放对本地用户的写权限(默认YES,如仅用作加载文件服务器,可改为NO).
write_enable=NO#设置本地用户的文件生成掩码(默认对本地用户的文件生成掩码是077,可改为022)local_umask=022#允许匿名FTP用户上载文件(默认为NO).
#anon_upload_enable=YES#允许匿名FTP用户创建目录(默认为NO).
#anon_mkdir_write_enable=YES#启用FTP数据端口的连接请求(默认为YES).
connect_from_port_20=YES#使用PAM认证的配置文件名,文件位于/etc/pam.
d目录下pam_service_name=vsftpd#是否使用userlist文件控制访问FTP服务器userlist_enable=YES#设置禁止访问的文件或目录#deny_file={*.
mp3,*.
mov,.
private}#设置隐藏的文件或目录#hide_file={*.
mp3,.
hidden,hide*,h}#设置FTP被动模式开放端口范围pasv_min_port=20001pasv_max_port=21000#设置非匿名登录用户的主目录#local_root=/var/ftp/pub更多的配置可查看vsftpd.
conf文档GBase8a管理员手册-44-南大通用数据技术股份有限公司#manvsftpd.
conf4.
配置允许或禁止访问FTP服务器的用户列表(可跳过)#vim/etc/vsftpd/user_list当/etc/vsftpd/vsftpd.
conf中配置如下时,禁止/etc/vsftpd/user_list中的所有用户访问FTP服务器userlist_enable=YESuserlist_deny=YES(缺省为YES)当/etc/vsftpd/vsftpd.
conf中配置如下时,允许/etc/vsftpd/user_list中的所有用户访问FTP服务器userlist_enable=YESuserlist_deny=NO5.
配置禁止访问FTP服务器的用户列表(可跳过)#vim/etc/vsftpd/ftpusers6.
关闭SELINUX功能或更改其配置(两种方式二选一即可)1)关闭SELINUX功能#vim/etc/selinux/config#ThisfilecontrolsthestateofSELinuxonthesystem.
#SELINUX=cantakeoneofthesethreevalues:#enforcing-SELinuxsecuritypolicyisenforced.
#permissive-SELinuxprintswarningsinsteadofenforcing.
#disabled-NoSELinuxpolicyisloaded.
SELINUX=disable#SELINUXTYPE=cantakeoneofthesetwovalues:#targeted-Targetedprocessesareprotected,#mls-MultiLevelSecurityprotection.
SELINUXTYPE=targetedGBase8a管理员手册南大通用数据技术股份有限公司-45-重启或者执行#setenforce02)更改SELINUX配置#setseboolftp_home_dir1注:当用浏览器访问FTP服务器遇到"500OOPS:cannotchangedirectory:/home/.
.
.
"时,可能为此问题.
7.
关闭或配置防火墙1)关闭防火墙停止防火墙服务#serviceiptablesstopiptables:清除防火墙规则:[确定]iptables:将链设置为政策ACCEPT:filter[确定]iptables:正在卸载模块:[确定]查看防火墙是否在开机时自动启动#chkconfig--listiptablesiptables0:关闭1:关闭2:启用3:启用4:启用5:启用6:关闭禁止防火墙在开机时自动启动#chkconfigiptablesoff或#chkconfigiptablesoff--level2345设置后防火墙在开机时自动启动状态#chkconfig--listiptablesiptables0:关闭1:关闭2:关闭3:关闭4:关闭5:关闭6:关闭2)配置防火墙GBase8a管理员手册-46-南大通用数据技术股份有限公司设置默认规则#iptables-AINPUT-jDROP(注:添加此条规则会阻止未处理的传入数据包,如在此规则之前未添加允许规则将会阻止远程连接)#iptables-AFORWARD-jACCEPT开放FTP端口#iptables-IINPUT-ptcp--dport21-jACCEPT#iptables-IOUTPUT-ptcp--sport21-jACCEPT#iptables-IINPUT-ptcp--dport20-jACCEPT#iptables-IOUTPUT-ptcp--sport20-jACCEPT#iptables-IINPUT-ptcp--dport20001:21000-jACCEPT#iptables-IOUTPUT-ptcp--sport20001:21000-jACCEPT保存防火墙设置#iptables-save>/etc/sysconfig/iptables8.
启动vsftpd服务并设置为开机启动项#servicevsftpdstart为vsftpd启动vsftpd:[确定]#chkconfigvsftpdon9.
复制文件到FTP目录1)如未设置local_root=/var/ftp/pub时,复制文件到/home/xxxx(用户的home目录)2)如已设置local_root=/var/ftp/pub时,复制文件到/var/ftp/pub3)如已设置anonymous_enable=YES时,复制文件到/var/ftp或/var/ftp/pub(匿名登录的主目录)GBase8a管理员手册南大通用数据技术股份有限公司-47-7.
4.
2HTTP服务器配置使用apache搭建HTTP文件服务器1、安装apr和httpd#rpm-ivhapr-1.
3.
9-3.
el6_1.
2.
x86_64.
rpmapr-util-1.
3.
9-3.
el6_0.
1.
x86_64.
rpmapr-util-ldap-1.
3.
9-3.
el6_0.
1.
x86_64.
rpm#rpm-ivhhttpd-2.
2.
15-15.
el6.
x86_64.
rpmhttpd-manual-2.
2.
15-15.
el6.
noarch.
rpmhttpd-tools-2.
2.
15-15.
el6.
x86_64.
rpm2、修改HTTP服务器默认配置#vim/etc/httpd/conf/httpd.
conf修改服务器名称#Ifyourhostdoesn'thavearegisteredDNSname,enteritsIPaddresshere.
#Youwillhavetoaccessitbyitsaddressanyway,andthiswillmake#redirectionsworkinasensibleway.
#ServerNamewww.
example.
com:80ServerName192.
168.
10.
114:80修改以下位置,将其中的"/var/www/html"修改为"/var/www/files"也可直接使用"/var/www/html"作为文件存储位置,跳过这一步#DocumentRoot:Thedirectoryoutofwhichyouwillserveyour#documents.
Bydefault,allrequestsaretakenfromthisdirectory,but#symboliclinksandaliasesmaybeusedtopointtootherlocations.
##DocumentRoot"/var/www/html"DocumentRoot"/var/www/files"GBase8a管理员手册-48-南大通用数据技术股份有限公司##ThisshouldbechangedtowhateveryousetDocumentRootto.
##3、编辑默认欢迎页配置#vim/etc/httpd/conf.
d/welcome.
conf注释掉以下几行(默认如果html下没有默认页面将显示403错误页面)##Options-Indexes#ErrorDocument403/error/noindex.
html#4、关闭或配置防火墙1)关闭防火墙停止防火墙服务#serviceiptablesstopiptables:清除防火墙规则:[确定]iptables:将链设置为政策ACCEPT:filter[确定]iptables:正在卸载模块:[确定]查看防火墙是否在开机时自动启动#chkconfig--listiptablesIptables0:关闭1:关闭2:启用3:启用4:启用5:启用6:关闭禁止防火墙在开机时自动启动#chkconfigiptablesoff或GBase8a管理员手册南大通用数据技术股份有限公司-49-#chkconfigiptablesoff--level2345设置后防火墙在开机时自动启动状态#chkconfig--listiptablesIptables0:关闭1:关闭2:关闭3:关闭4:关闭5:关闭6:关闭2)配置防火墙设置默认规则#iptables-AINPUT-jDROP#iptables-AFORWARD-jACCEPT开放HTTP端口#iptables-IINPUT-ptcp-mtcp--dport80-jACCEPT#iptables-IOUTPUT-ptcp-mtcp--sport80-jACCEPT保存防火墙设置#iptables-save>/etc/sysconfig/iptables5、启动httpd服务并设置为开机启动项#servicehttpdstart正在启动httpd:[确定]#chkconfighttpdon6、将数据文件复制到/var/www/files(或/var/www/html)下7、用浏览器访问http://192.
168.
10.
114即可看到文件列表(前面配置的ServerName192.
168.
10.
114:80)7.
4.
3HDFS服务器配置使用ApacheHadoop2.
6.
0搭建HDFS服务器GBase8a管理员手册-50-南大通用数据技术股份有限公司1、Hadoop集群环境准备操作系统用户:gbase集群各节点间的ssh互信已建立.
集群已配置C3工具.
开源产品版本:ApacheHadoop2.
6.
0JVM1.
6或1.
7版本集群节点功能规划示例:IP主机名功能192.
168.
10.
114ch-10-114NameNode,DataNode192.
168.
10.
115ch-10-115DataNode192.
168.
10.
116ch-10-116DataNode2、主机名配置各节点的主机名需要正确配置,以192.
168.
10.
114节点示例如下,其他节点直接拷贝该配置即可.
127.
0.
0.
1localhostlocalhost.
localdomainlocalhost4localhost4.
localdomain4::1localhostlocalhost.
localdomainlocalhost6localhost6.
localdomain6192.
168.
10.
114ch-10-114192.
168.
10.
115ch-10-115192.
168.
10.
116ch-10-116注意:第一行如果配置成如下形式是错误的,安装完成后会出现Hadoop的Datanode无法连接Namenode的情况.
127.
0.
0.
1ch-10-114localhostlocalhost.
localdomainlocalhost4localhost4.
localdomain4GBase8a管理员手册南大通用数据技术股份有限公司-51-如果没有为GBase8a配置DNS服务器,为保证GBase8a可以解析Hadoop的Namenode和Datanode的主机名,需要配置/etc/hosts文件,在其中加入如上Hadoop的Namenode和Datanode的IP地址和主机名映射.
如未配置/etc/hosts文件,执行加载HDFS服务器上文件时,会报类似"Couldn'tresolvehostname"字样的错误.
检查方法:1)通过jps查看,发现DataNode已经启动,但是检查DataNode上的日志,发现DataNode在不断尝试连接NameNode节点的9000端口(HDFS的RPC端口).
2)在NameNode节点执行netstat-an,看到如下信息:$netstat-an|grep9000tcp00127.
0.
0.
1:90000.
0.
0.
0:*LISTEN错误原因:TCP监听的IP是127.
0.
0.
1,导致只有本机能够连接到9000端口.
原因是NameNode的/etc/hosts文件配置错误.
解决办法:去掉第一行的红色字体(ch-10-114),或者将第一行内容后置均可.
192.
168.
10.
114ch-10-114192.
168.
10.
115ch-10-115192.
168.
10.
116ch-10-116127.
0.
0.
1localhostlocalhost.
localdomainlocalhost4localhost4.
localdomain4::1localhostlocalhost.
localdomainlocalhost6localhost6.
localdomain6重启HDFS,再次用netstat-an|grep9000查看,端口和IP正确.
$netstat-an|grep9000tcp00192.
168.
10.
114:90000.
0.
0.
0:*LISTEN3、目录规划GBase8a管理员手册-52-南大通用数据技术股份有限公司目录用途/home/gbase/bin放置Hadoop生态系统,包括Hadoop等/home/gbase/hdfs放置HDFS文件,包括tmp、name、data添加环境变量${HADOOP_HOME}$echo"exportHADOOP_HOME=/home/gbase/bin/Hadoop-2.
6.
0">>~/.
bashrc$.
~/.
bashrc注:下文中的${HADOOP_HOME}指/home/gbase/bin/Hadoop-2.
6.
04、准备Hadoop2.
6.
0把hadoop-2.
6.
0.
tar.
gz解压到各节点的/home/gbase/bin.
$tarxfzhadoop-2.
6.
0.
tar.
gz-C/home/gbase/bin5、配置hadoop-env.
sh文件路径:${HADOOP_HOME}/etc/hadoop/hadoop-env.
sh$cd${HADOOP_HOME}$vietc/hadoop/hadoop-env.
shNamenode和Datanode均按如下配置.
把exportJAVA_HOME=$JAVA_HOME修改为:exportJAVA_HOME=/usr/lib/jvm/jre-1.
6.
0-openjdk.
x86_64把exportHADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/etc/hadoop"}修改为:exportHADOOP_CONF_DIR=/home/gbase/bin/hadoop-2.
6.
0/etc/hadoop6、配置core-site.
xml文件文件路径:${HADOOP_HOME}/etc/hadoop/core-site.
xml$cd${HADOOP_HOME}$vietc/hadoop/core-site.
xmlNamenode和Datanode均按如下配置GBase8a管理员手册南大通用数据技术股份有限公司-53-fs.
default.
namehdfs://ch-10-114:9000hadoop.
tmp.
dirfile:/home/gbase/hdfs/tmp7、配置hdfs-site.
xml文件路径:${HADOOP_HOME}/etc/hadoop/hdfs-site.
xml$cd${HADOOP_HOME}$vietc/hadoop/hdfs-site.
xmlNamenode配置dfs.
replication2dfs.
name.
dirfile:/home/gbase/hdfs/namenamenodedirdfs.
permissionsfalseGBase8a管理员手册-54-南大通用数据技术股份有限公司DataNode配置dfs.
data.
dirfile:/home/gbase/hdfs/datadatanodedir8、配置Masters和Slaves文件路径:${HADOOP_HOME}/etc/hadoop/masters${HADOOP_HOME}/etc/hadoop/slaves只需要在NameNode节点配置即可.
$cd${HADOOP_HOME}$vietc/hadoop/masters${HADOOP_HOME}/etc/hadoop/masters文件内容ch-10-114$cd${HADOOP_HOME}$vietc/hadoop/slaves${HADOOP_HOME}/etc/hadoop/slaves文件内容ch-10-114ch-10-115ch-10-1169、格式化NameNodeNameNode的格式化需要在启动HDFS之前进行.
GBase8a管理员手册南大通用数据技术股份有限公司-55-$cexecrm-fr/home/gbase/hdfs/*$cd${HADOOP_HOME}$bin/hdfsnamenode-format10、启动HDFS$cd${HADOOP_HOME}$sbin/start-dfs.
sh启动完毕后,通过jps检查各节点的进程,如下即为正确启动了.
$cexecjpstest192.
168.
10.
114-31318SecondaryNameNode31133NameNode31554Jps192.
168.
10.
115-10835DataNode11000Jps192.
168.
10.
116-10145DataNode10317Jps11、停止HDFS$cd${HADOOP_HOME}$sbin/stop-dfs.
sh7.
4.
4SFTP服务器配置SFTP服务无需布署额外的软件包,开启sshd服务即可.
GBase8a管理员手册-56-南大通用数据技术股份有限公司1.
查看是否已启动sshd服务#servicesshdstatusopenssh-daemon(pid2243)isrunning.
.
.
2.
默认配置的目录访问.
使用默认配置时,sshd不限制用户的目录访问.
用户通过sftp登录后,可以在有访问权限的任何目录间跳转.
在这种情况下,以下加载语句的URL中的文件路径为系统的绝对路径:loaddatainfile'sftp://gbase:gbase@192.
168.
10.
114/opt/data/test.
tbl'intotabletest.
tdata_format3;3.
修改sshd默认配置.
当并发加载任务数较大时,会出现sftp文件加载失败的情况,此时可按以下方式修改sshd配置文件.
编辑/etc/ssh/sshd_config文件#vi/etc/ssh/sshd_config按以下加粗字体内容修改配置文件#MaxStartups的值表示为"start:rate:full",默认值为10:30:100,当未认证连接数达到start(10)时,新的连接尝试有"rate/100"(30%)的可能会被sshd拒绝,当未认证连接数达到full(100)时,所有新的连接尝试都会被拒绝.
#在最大并发加载任务数为N时MaxStartups的推荐值为(N+10):30:(N*2)#MaxStartups10:30:100MaxStartups20:30:100出于安全原因,希望对sftp登录用户的访问权限进行限制,只能让用户在自己的home目录下活动.
启用sshd目录锁定功能需要使用到chroot,openssh4.
8p1以后都支持chroot,可用以下命令检查当前系统的openssh版本.
#ssh-VOpenSSH_5.
3p1,OpenSSL1.
0.
0-fips29Mar2010编辑/etc/ssh/sshd_config文件#vi/etc/ssh/sshd_config按以下加粗字体内容修改配置文件GBase8a管理员手册南大通用数据技术股份有限公司-57-#overridedefaultofnosubsystems#修改默认子系统为internal-sftp#Subsystemsftp/usr/libexec/openssh/sftp-serverSubsystemsftpinternal-sftp#Exampleofoverridingsettingsonaper-userbasis#MatchUsersftp表示以下规则仅匹配于名称为sftp的用户,如果需要匹配多个用户名,多个用户名间用逗号分隔.
也可用MatchGroupsftp来匹配名称为sftp的组,同样如果需要匹配多个组,多个组名间用逗号分隔MatchUsersftp#X11Forwardingno#AllowTcpForwardingno#强制执行进程内sftpserver,忽略~/.
ssh/rc文件中的命令ForceCommandinternal-sftp#用chroot将用户的根目录指定到%h,%h代表用户的home目录,可选的参数还有%u,代表用户名ChrootDirectory%h注意:sftp目录的权限配置要点:1)由ChrootDirectory指定的目录开始一直向上到系统根目录为止的目录拥有者都只能是root2)由ChrootDirectory指定的目录开始一直向上到系统根目录为止都不可有群组写入的权限,即权限值不能高于7554.
配置完成后重启sshd服务#servicesshdrestart在已配置目录锁定的情况下,以下加载语句的URL中的文件路径为系统的相对路径,test.
tbl的绝对路径应为/home/gbase/opt/data/test.
tblloaddatainfile'sftp://gbase:gbase@192.
168.
10.
114/opt/data/test.
tbl'intotabletest.
tdata_format3;GBase8a管理员手册-58-南大通用数据技术股份有限公司8安全管理8.
1密码安全管理8.
1.
1密码强度控制用户可以配置密码复杂度和长度要求,在创建密码和修改密码时必须符合此强度要求.
密码复杂度受只读量password_format_option控制.
密码长度受只读变量password_min_length控制.
两个变量的值均为0时表示关闭密码强度控制.
密码强度控制对以下SQL类型生效:createuser[user]identifiedby'pass';alteruser[user]identifiedby'pass';setpassword=password('pass');setpasswordfor[user]=password('pass');密码强度控制参数为只读变量,定义如下:变量名范围含义password_format_option0-31表示密码字符组合要求,默认值为0,表示无复杂度要求.
组合中可包含数字(1)、小写字符(2)、大写字符(4)、其它字符(8)中的1种或多种.
1:表示必须包含数字.
2:表示必须包含小写字母.
4:表示必须包含大写字母.
8:表示必须包含其它字符.
16:表示不能和用户名相同.
要限定组合时配置为上述值的和,可以任意组合.
GBase8a管理员手册南大通用数据技术股份有限公司-59-例如:限定包含所有种类字符为(1+2+4+8=15).
对非英文字符,按其对应的ASII码范围分类.
password_min_length0-65535表示密码的最短长度,默认值为0,表示不限制长度.
8.
1.
2密码重用控制限制用户使用指定间隔次数内的历史密码.
口令间隔控制参数为只读变量,定义如下:变量名范围含义password_reuse_max0-100默认值为0,表示不控制.
正数值N表示允许的口令间隔,间隔大于N才允许设置.
8.
1.
3密码有效期控制控制密码的有效期,达到有效期后用户密码自动过期.
用户密码过期后,允许用户登录,在执行SQL时提示用户修改密码.
此时允许用户修改自己的密码.
必须修改密码后才允许执行其它SQL.
可选的密码策略:1.
使用默认密码过期时间默认密码过期时间为只读变量,定义如下:变量名范围含义password_life_time0-65535默认值为0,表示默认禁用密码过期.
正数值N表示密码过期天数,密码必须在N天后修改.
使用默认密码过期策略范例:CREATEUSERjeffreyPASSWORDEXPIREDEFAULT;//创建用户同时符合默认密码过期时间ALTERUSERjeffreyPASSWORDEXPIREDEFAULT;//修改用户符合默认密码过期时间GBase8a管理员手册-60-南大通用数据技术股份有限公司2.
禁用密码过期策略:此时密码将永不过期,范例:CREATEUSERjeffreyPASSWORDEXPIRENEVER;ALTERUSERjeffreyPASSWORDEXPIRENEVER;3.
指定密码过期时间间隔:设置密码过期的时间间隔为N天.
范例:CREATEUSERjeffreyPASSWORDEXPIREINTERVAL180DAY;ALTERUSERjeffreyPASSWORDEXPIREINTERVAL180DAY;4.
使密码立即过期:使密码立即过期,范例:CREATEUSERjeffreyPASSWORDEXPIRE;ALTERUSERjeffreyPASSWORDEXPIRE;用户密码过期配置下发到各coordinator节点,语法定义如下:CREATE/ALTERUSERuser[auth_option][expiration_option|lock_option|host_option].
.
.
expiration_option:{PASSWORDEXPIRE|PASSWORDEXPIREDEFAULT|PASSWORDEXPIRENEVER|PASSWORDEXPIREINTERVALNDAY}1、对不存在用户,使用createuser时可以同时指定密码过期选项.
2、对已存在用户,使用alteruser更改用户时可指定密码过期选项.
用户密码过期时执行SQL会提示用户必须先修改密码,例如:gbase>usetest;ERROR1840(HY000):YoumustresetyourpasswordusingALTERUSERstatementbeforeexecutingthisstatement.
GBase8a管理员手册南大通用数据技术股份有限公司-61-密码过期设置会立即生效,如果指定了多个策略选项,最后一个生效.
8.
2用户安全管理8.
2.
1登录重试锁定限制用户的登录重试次数,当密码错误达到次数时锁定账户.
处于锁定状态的用户在登录时将提示用户账户已锁定,并拒绝登录.
用户登录重试次数参数为只读变量,定义如下:变量名范围含义login_attempt_max0-65535默认值为0,表示禁用密码重试,不记录登录信息.
正数值N表示允许密码输错的次数,达到次数则锁定用户账户.
8.
2.
2账户锁定和解锁用户账户锁定后将不允许用户登录.
账户不会自动解锁,需由拥有CREATEUSER权限的管理员账户锁定和解锁用户.
锁定只影响用户登录.
用户账户锁定状态下发到各coordinator节点,语法定义如下:CREATE/ALTERUSERuser[auth_option][expiration_option|lock_option|host_option].
.
.
lock_option:{ACCOUNTLOCK|ACCOUNTUNLOCK}功能说明:1、对不存在用户,使用createuser时可以同时设置为锁定状态或非锁定状态.
GBase8a管理员手册-62-南大通用数据技术股份有限公司2、对已存在用户,使用alteruser更改用户为锁定或非锁定状态.
已锁定的账户登录时提示用户锁定,拒绝登录,例如:gbase-uuser1ERROR1830(HY000):Accessdeniedforuser'user1'@'%'.
Accountislocked.
如果指定了多个策略选项,最后一个生效.
gbase用户不受锁定控制,可以锁定解锁,锁定时依然允许登录.
8.
2.
3账户限定host列表语法:CREATE/ALTERUSERuser[auth_option][expiration_option|lock_option|host_option].
.
.
host_option:{hosts'host_list'}默认host_list为空,此时登录无host限定.
host_list的值可以为ip或主机名,允许包含多个,使用空格""分割,使用"%"和"_"做通配符(通配符用法同原host功能).
登录的ip或主机名在列表中才允许用户登录.
8.
3审计策略8.
3.
1创建审计策略创建审计策略的语法规则如下所示:CREATEAUDITPOLICY[(=[,=])];其中audit_policy_name为审计策略的名称,不区分大小写,存储时小写保存,与资源池名类似,可包括大小写字母、数字和下划线,不可以包含特殊GBase8a管理员手册南大通用数据技术股份有限公司-63-符号,数字不可以作为第一个字母;audit_policy_item为审计策略项目,审计策略项目名称不区分大小写,目前支持的审计策略项目包括:项目名称取值&含义EnableY:启用,默认值N:禁用Hosts"":不限制,默认值:严格匹配host,支持空格""分隔的host列表,host可使用"%"和"_"做通配符User"":不限制,默认值:严格匹配user,区分大小写Db"":不限制,默认值:严格匹配dbObj_type"":不限制,默认值TABLE(VIEW):Object为表(视图)PROCEDURE:Object为存储过程FUNCTION:Object为函数Object"":不限制,默认值:匹配Obj_tpe指定的objectSql_commands"":不限制,默认值INSERT,DELETE,UPDATE,LOAD,CREATE_USER,CREATE_DB,CREATE_TABLE,CREATE_VIEW,CREATE_INDEX,CREATE_PROCEDURE,CREATE_FUNCTION,RENAME_USER,ALTER_DB,ALTER_TABLE,ALTER_PROCEDURE,ALTER_FUNCTION,ALTER_EVENT,DROP_USER,DROP_DB,DROP_TABLE,DROP_VIEW,DROP_INDEX,DROP_PROCEDURE,DROP_FUNCTION,DROP_EVENT,TRUNCATE,GRANT,REVOKE,SELECT,OTHERS:其中的一种或多种类型,多个类型间以逗号','连接,且不添加空格Long_query_time:最小查询秒数,可带6位小数,精确到微秒,GBase8a管理员手册-64-南大通用数据技术股份有限公司默认值0,取值范围为0~31536000Status"":不限制,默认值SUCCESS:执行成功FAILED:执行失败8.
3.
2修改审计策略修改审计策略的语法规则如下:ALTERAUDITPOLICYSET[(]=[,=][)];其中:audit_policy_name为审计策略的名称,不区分大小写;audit_policy_item为审计策略项目,取值内容与创建审计策略中描述相同.
8.
3.
3删除审计策略删除审计策略语法规则如下:DROPAUDITPOLICY;8.
4查看安全信息从gbase.
user_check系统表中可以查询到用户安全信息.
user_check表结构如下:列名类型Null默认值含义hostchar(60)No无主机名,主键userchar(16)No无用户名,主键attemptsmallint(5)unsignedNo0密码重试次数GBase8a管理员手册南大通用数据技术股份有限公司-65-last_attemptsmallint(5)unsignedNo0最近成功登录的重试次数lockedenum('N','Y')NoN用户是否锁定password_expiredenum('N','Y')NoN密码是否过期password_last_changeddatetimeNo无最近密码修改时间password_life_timesmallint(5)unsignedYesNULL密码有效期,单位天password_historyvarchar(5000)No""密码历史列表,密文host_listvarchar(5000)No""允许登录的host列表login_timedatetimeYesNULL本次登录时间login_hostchar(60)No""本次登录主机last_login_timedatetimeYesNULL最近登录时间last_login_hostchar(60)No""最近登录主机login_countbigint(8)No0用户登录次数查询用户的锁定和密码过期状态范例:gbase>selectLocked,password_expiredfromgbase.
user_checkwhereuser='user1';|Locked|password_expired||N|N|8.
5登录信息显示登录信息显示受只读变量show_login_status控制:变量名范围含义show_login_status0-1默认值为0,表示关闭.
1表示开启.
当开启登录信息显示时,在用户登录时可以显示以下信息,范例如下:GBase8a管理员手册-66-南大通用数据技术股份有限公司Logininfo:USER:rootLOGIN_TIME:2017-10-2509:33:00LOGIN_HOST:localhostLAST_LOGIN_TIME:2017-10-2415:22:04LAST_LOGIN_HOST:localhostLAST_ATTEMPT:0VALID_PASSWORD_EXPIRE:1新增语法showloginstatus,用于显示用户自身的登录信息,范例如下:gbase>showloginstatus\G1.
rowUSER:user1LOGIN_TIME:2017-10-2509:38:50LOGIN_HOST:localhostLAST_LOGIN_TIME:0000-00-0000:00:00LAST_LOGIN_HOST:LAST_ATTEMPT:0VALID_PASSWORD_EXPIRE:18.
6安全管理的权限CREATEUSER语法执行受CREATEUSER权限控制ALTERUSER语法执行除修改自己密码外受CREATEUSER权限控制,修改自己密码不受权限控制.
查看安全信息受系统表gbase.
user_check的SELECT权限控制.
8.
7登陆管理一致性在集群范围内进行密码安全管理需要考虑到一致性的问题,面临着如下场景集群中包括ABC三个coordinator1在A点进行登陆,达到密码锁定次数,A点将进行锁定,同时B点C点GBase8a管理员手册南大通用数据技术股份有限公司-67-也应该进行锁定.
2在A点进行登陆,密码重试出错,那么B点C点即使没有进行密码重试,也需要进行重试次数增加.
3在A点进行登陆,密码验证成功,密码重试次数需要清0,如果B点,C点密码重试次数不为0,也需要进行清0.
由于在场景3下,每进行一次登陆,如果都需要在所有节点去进行密码重试次数清0操作,那么会很影响效率.
并且清0操作此时会记录event,如果存在节点离线,那event会大幅度增加,会给系统带来很大冲击.
因此这里增加一个参数进行控制,默认关闭,在明白上述影响的情况下,可以手动进行开启.
变量名范围含义gcluster_user_check_consistent0-1为0表示关闭,为1表示开启,默认关闭GBase8a管理员手册-68-南大通用数据技术股份有限公司9密钥证书管理密钥证书的管理需要管理员用户通过SQL方式处理,针对密文密钥用户需要牢记口令,系统不记录用户口令;9.
1证书存储位置证书存放在config目录;gnode:$GBASE_BASE/config/encryption.
crt9.
2语法描述9.
3创建证书CREATEENCRYPTIONCERTIFICATEIDENTIFIEDBY'password'[CONTENT'密钥内容']说明:1)该语法可创建明文、密文密钥证书,如果password为空,则创建明文密钥证书,不需要口令;如果password非空,则创建密文密钥证书,需要口令;2)CONTENT是密钥内容关键字,可选项,如果不指定该关键字,则创建时由系统自动生成密钥;如果指定,则需要用户手动输入密钥,内容不做限制,最大支持128字节;【注】GBase8a管理员手册南大通用数据技术股份有限公司-69-1)明文密钥创建完成后,即可对加密列做dml操作;密文密钥还需要open操作,方可对加密列做dml操作;2)密钥证书只能创建一次,不能重复创建;3)密文密钥,须用户牢记口令,系统不记录口令;9.
3.
1打开/关闭证书根据口令打开密文密钥证书ALTERENCRYPTIONCERTIFICATEOPENIDENTIFIEDBY'password'关闭密钥证书ALTERENCRYPTIONCERTIFICATECLOSE;【注】关闭密钥后,所有对加密列的dml操作将会失效;9.
3.
2显示证书状态SELECT*FROMINFORMATION_SCHEMA.
ALL_ENCRYPTION_CERTIFICATE_STATUS;说明:显示所有节点的密钥证书状态gbase>SELECT*FROMINFORMATION_SCHEMA.
ALL_ENCRYPTION_CERTIFICATE_STATUS;|NODE_NAME|IS_CREATE|KEY_TYPE|OPEN_STATUS||coordinator1|NO|0|OFF||node1|NO|0|OFF||node1|NO|0|OFF|3rowsinset9.
3.
3修改证书口令GBase8a管理员手册-70-南大通用数据技术股份有限公司ALTERENCRYPTIONCERTIFICATEIDENTIFIEDBY'old_pwd'TO'new_pwd'说明:修改密文密钥口令,old_pwd、new_pwd均非空;9.
3.
4明文、密文密钥转换ALTERENCRYPTIONCERTIFICATEIDENTIFIEDBY''TO'password'说明:明文密钥转换为密文密钥,password不能为空;ALTERENCRYPTIONCERTIFICATEIDENTIFIEDBY'password'TO''说明:密文密钥转换为明文密钥,password不能为空;GBase8a管理员手册南大通用数据技术股份有限公司-71-10元数据管理10.
1.
1限制表实例数量参数名:_gbase_express_table_limit数值范围:最小值16,最大值1024*1024,默认值16*1024说明:当引擎层打开表数量达到参数设定的值时,不会立即触发清理动作.
而是由后台线程每5秒检测一次,如果达到上限才会触发清理动作.
10.
1.
2限制表实例元数据总大小参数名:_gbase_express_table_metadata_limit数值范围:gnode下默认值为temp堆大小一半,gcluster下默认值为1GB,最小值最大值不限,配置文件中可使用K/M/G方式设置说明:当引擎层打开表实例的元数据大小之和达到参数设定的值时,不会立即触发清理动作.
而是由后台线程每5秒检测一次,如果达到上限才会触发清理动作.
10.
1.
3超出限制后对m_tables清理比例参数名:_gbase_express_table_clear_rate数值范围:最大值100(表示100%),最小值1(表示1%),默认值10(表示10%)说明:1)表数量淘汰机制:当触发清理动作时每次清理多少比例的表对象实例.
此比例是当前内存中表实例总数的比例.
2)元数据大小淘汰机制:每次清理多少比例的元数据大小.
次比例是当前GBase8a管理员手册-72-南大通用数据技术股份有限公司内存中所有表实例的元数据大小之和的比例.
10.
1.
4状态监测有两个状态信息可以查询:express_cached_tables表示当前内存中有多少个表实例.
express_cached_metadata表示当前内存中所有表实例的元数据大小.
gbase>showvariableslike'%express_table%';|Variable_name|Value||_gbase_express_table_clear_rate|10||_gbase_express_table_limit|16384||_gbase_express_table_metadata_limit|1073741824|3rowsinset(Elapsed:00:00:00.
01)gbase>showstatuslike'%express_cache%';|Variable_name|Value||express_cached_metadata|5140||express_cached_tables|1|2rowsinset(Elapsed:00:00:00.
00)-2-
5.
2GBase8a管理员手册,南大通用数据技术股份有限公司GBase版权所有2004-2020,保留所有权利.
版权声明本文档所涉及的软件著作权、版权和知识产权已依法进行了相关注册、登记,由南大通用数据技术股份有限公司合法拥有,受《中华人民共和国著作权法》、《计算机软件保护条例》、《知识产权保护条例》和相关国际版权条约、法律、法规以及其它知识产权法律和条约的保护.
未经授权许可,不得非法使用.
免责声明本文档包含的南大通用公司的版权信息由南大通用公司合法拥有,受法律的保护,南大通用公司对本文档可能涉及到的非南大通用公司的信息不承担任何责任.
在法律允许的范围内,您可以查阅,并仅能够在《中华人民共和国著作权法》规定的合法范围内复制和打印本文档.
任何单位和个人未经南大通用公司书面授权许可,不得使用、修改、再发布本文档的任何部分和内容,否则将视为侵权,南大通用公司具有依法追究其责任的权利.
本文档中包含的信息如有更新,恕不另行通知.
您对本文档的任何问题,可直接向南大通用数据技术股份有限公司告知或查询.
未经本公司明确授予的任何权利均予保留.
通讯方式南大通用数据技术股份有限公司天津高新区华苑产业园区开华道22号普天创新产业园区东塔电话:400-013-9696邮箱:info@gbase.
cn商标声明是南大通用数据技术股份有限公司向中华人民共和国国家商标局申请注册的注册商标,注册商标专用权由南大通用公司合法拥有,受法律保护.
未经南大通用公司书面许可,任何单位及个人不得以任何方式或理由对该商标的任何部分进行使用、复制、修改、传播、抄录或与其它产品捆绑使用销售.
凡侵犯南大通用公司商标权的,南大通用公司将依法追究其法律责任.
GBase8a管理员手册南大通用数据技术股份有限公司I目录前言1手册简介1公约21系统简介31.
1系统简介.
31.
2产品技术特点.
31.
3产品功能简介.
42基本管理52.
1系统安装.
52.
2服务的启停.
52.
3修改数据库root用户的密码53DDL与DML73.
1DDL73.
1.
1数据库.
73.
1.
2表73.
1.
3视图.
93.
1.
4存储过程和函数.
93.
1.
5哈希索引.
113.
2DML.
123.
2.
1INSERT.
123.
2.
2UPDATE.
133.
2.
3DELETE.
144审计日志164.
1简介164.
2配置参数.
174.
3存储方式.
184.
4使用约束.
184.
5使用示例.
185权限管理235.
1用户管理.
235.
2权限管理.
246图形化管理工具296.
1企业管理器.
297加载功能30GBase8a管理员手册II南大通用数据技术股份有限公司7.
1语法格式.
307.
2使用约束.
367.
3使用示例.
387.
4数据服务器配置.
427.
4.
1FTP服务器配置.
427.
4.
2HTTP服务器配置.
477.
4.
3HDFS服务器配置.
497.
4.
4SFTP服务器配置.
558安全管理588.
1密码安全管理.
588.
1.
1密码强度控制588.
1.
2密码重用控制598.
1.
3密码有效期控制598.
2用户安全管理.
618.
2.
1登录重试锁定618.
2.
2账户锁定和解锁618.
2.
3账户限定host列表628.
3审计策略.
628.
3.
1创建审计策略628.
3.
2修改审计策略648.
3.
3删除审计策略648.
4查看安全信息.
648.
5登录信息显示.
658.
6安全管理的权限.
668.
7登陆管理一致性.
669密钥证书管理689.
1证书存储位置.
689.
2语法描述.
689.
3创建证书.
689.
3.
1打开/关闭证书699.
3.
2显示证书状态699.
3.
3修改证书口令699.
3.
4明文、密文密钥转换7010元数据管理7110.
1.
1限制表实例数量7110.
1.
2限制表实例元数据总大小7110.
1.
3超出限制后对m_tables清理比例71GBase8a管理员手册南大通用数据技术股份有限公司III10.
1.
4状态监测.
72GBase8a管理员手册南大通用数据技术股份有限公司-1-前言手册简介GBase8a管理员手册主要从用户使用的角度介绍了GBase8a数据库日常管理维护的知识,通过阅读本手册用户可以学习到GBase8a数据库的常用管理技能和维护技巧,掌握对数据库常用对象的命令管理和图形化管理技能,掌握对数据库状态监控的技能.
第一章对GBase8a做简单介绍,主要描述了GBase8a的功能,特点等方面的内容.
第二章介绍了GBase8a的基本管理,主要描述了服务的启停,登录与退出的内容.
第三章介绍了GBase8a中DDL与DML的语法,主要描述了基本的DDL与DML的语法内容.
第四章介绍了GBase8a中的审计日志,主要描述了如何运用审计日志来监视用户所执行的数据库操作的内容.
第五章介绍了GBase8a的权限管理,主要描述了用户管理以及用户权限管理方面的内容.
第六章对于GBase8a的图形化管理工具进行了简单介绍.
GBase8a管理员手册-2-南大通用数据技术股份有限公司公约下面的文本约定用于本文档:约定说明加粗字体表示文档标题大写英文(SELECT)表示GBase8a关键字等宽字体表示代码示例…表示被省略的内容.
GBase8a管理员手册南大通用数据技术股份有限公司-3-1系统简介1.
1系统简介GBase8a是一款具有高效统计和分析能力的列存储关系型数据库管理系统,能够管理TB级数据.
GBase8a面向分析型应用领域,以列为基本存储方式和数据运算对象,结合列数据压缩处理、并行处理、快速智能索引等新型数据处理技术,在查询、统计、分析以及批量加载性能上具备突出的优势.
GBase8a符合SQL92、ODBC、JDBC、ADO.
NET等国际规范,提供完备的数据存储和数据管理功能.
1.
2产品技术特点GBase8a技术上的"三高"优势:高性能列存储在大大减少了I/O的同时,显著提高查询性能;智能索引大幅提高查询性能;高速的数据加载性能;高效的并行SQL执行计划.
高性价比采用多种压缩技术,减少存储数据所需的空间,可以将所用空间减少1~20倍,并相应地提高了有效的I/O性能;采用高压缩技术,能显著减少存储开销,从而帮助客户减少了数据库整体投入成本.
高易用性易于实施和管理,只需要传统数据库1/10的管理成本,与主要商业智能GBase8a管理员手册-4-南大通用数据技术股份有限公司工具兼容,如GBaseBI、Cognos、SAPBO、BIEE、SAS、SPSS.
1.
3产品功能简介GBase8a支持的功能如下表所示:功能描述结构化查询语言符合SQL92标准,支持CREATE、ALTER、DROP等DDL语法,支持SELECT、INSERT、UPDATE、DELETE等DML语法,支持单表,多表联合查询.
数据类型INT、TINYINT、SMALLINT、BIGINT、DECIMAL、FLOAT、DOUBLE数值数据类型;CHAR、VARCHARTEXT字符数据类型;DATE、TIME、DATETIME、TIMESTAMP日期类型;BLOB二进制数据类型.
数据库对象提供了数据库,表,索引,视图,存储过程,自定义函数等常用数据库对象的创建,修改和删除操作,支持数据库用户的创建,删除操作,以及用户权限的分配与回收.
行列混合存储基于创建的物理表,可以实现行存列的创建,修改和删除.
图形化工具提供了企业管理工具.
接口符合并支持CAPI、ODBC、JDBC、ADO.
NET等接口规范.
外围工具提供数据加载、导出、备份/恢复等外围工具.
GBase8a管理员手册南大通用数据技术股份有限公司-5-2基本管理2.
1系统安装这部分内容请参见《GBase8a安装手册(LinuxRHEL6》.
2.
2服务的启停当GBase8a安装完毕后,其中的gbase.
server服务需要手动启动,之后,每当开机和重新启动机器时,gbase.
server服务都需要手动启动.
如果用户在使用中,需要手工进行GBase服务的启停操作,则要使用安装GBase8a的用户进行操作.
具体命令如下:启动命令$gbase.
serverstart停止命令$gbase.
serverstop重新启动命令$gbase.
serverrestart更详细的介绍,参见《GBase8a安装手册(LinuxRHEL6)》.
2.
3修改数据库root用户的密码在安装GBase8a的用户下,可以进行GBase8a的登录.
默认情况下,在进行GBase8a的安装过程中,系统创建数据库超级帐号root,并且可以为它设置初始密码,如果在这个安装过程中,用户将root的密码设置为空,那么,用户还可以在首次登录GBase8a后,为root帐号设置一GBase8a管理员手册-6-南大通用数据技术股份有限公司个安全密码.
示例如下:安装GBase8a时,用户将root用户密码设置为空,此时,在第一次登录GBase8a时,可以继续为root用户设置密码.
$gbase.
-urootGBaseclient8.
5.
1.
2build27952.
Copyright(c)2004-2013,GBase.
AllRightsReserved.
gbase>SETPASSWORDFORroot=PASSWORD('H133%_h');QueryOK,0rowsaffected退出登录的命令为在gbase>提示符下,键入\q.
gbase>\qBye修改root的口令后,重新登录GBase8a.
$gbase-urootEnterpassword:GBaseclient8.
5.
1.
2build27952.
Copyright(c)2004-2013,GBase.
AllRightsReserved.
gbase>GBase8a管理员手册南大通用数据技术股份有限公司-7-3DDL与DML3.
1DDL3.
1.
1数据库CREATEDATABASE是用给定的名称来创建一个数据库.
用户需要获得创建数据库的权限,才可以使用CREATEDATABASE.
如果用户没有指定IFNOTEXISTS并且该数据库存在,则产生一个错误.
创建数据库CREATEDATABASEtest;CREATEDATABASEIFNOTEXISTStest;删除数据库DROPDATABASEtest;DROPDATABASEIFEXISTStest;3.
1.
2表用户可以通过CREATETABLE命令在当前数据库创建一个指定名称的表.
GBase8a支持两种表类型,普通表、和临时表.
表类型特点普通表就是符合SQL标准,使用CREATETABLE创建的表.
临时表使用TEMPORARY关键字,临时表被限制在当前连接中,当连接关闭时,临时表会自动地删除.
3.
1.
2.
1普通表GBase8a管理员手册-8-南大通用数据技术股份有限公司GBase8a支持可以通过下面的语法创建普通表:CREATETABLE[IFNOTEXISTS][database_name.
]tbl_name[(create_definition,.
.
.
)][table_options];table_options:[COMMENT'comment_value']删除普通表:DROPTABLE[IFEXISTS]tbl_name;创建普通表CREATETABLEt3(aint);删除表DROPTABLEt3;3.
1.
2.
2临时表GBase8a支持临时表,可以通过下面的语法创建临时表:CREATETEMPORARYTABLE[IFNOTEXISTS][database_name.
]tbl_name[(create_definition,.
.
.
)][table_options];table_options:[COMMENT'comment_value']删除临时表:DROP[TEMPORARY]TABLE[IFEXISTS]tbl_name;临时表生命周期为会话级,当前会话连接结束后自动删除.
GBase8a管理员手册南大通用数据技术股份有限公司-9-临时表支持普通表支持的所有相关操作,包括:DDL、DML、SHOWCREATETABLE、DESC、SELECT及TEMPORARYTABLE和普通表之间的关联等操作.
3.
1.
3视图GBase8a禁止对视图进行INSERT,DELETE,UPDATE动作.
创建视图CREATEVIEWv_tASSELECTa,bFROMt;CREATEORREPLACEVIEWv_tASSELECTbFROMt;CREATEORREPLACEVIEWv_t_1ASSELECTaFROMt;更改视图ALTERVIEWv_t(a,b)ASSELECT*FROMt;ALTERVIEWv_t(aa,bb)ASSELECTa,bFROMt;删除视图DROPVIEWIFEXISTSv_t,v_t_1;3.
1.
4存储过程和函数创建存储过程或函数.
下面介绍创建自定义存储过程的语法,在GBase8a里,我们为用户提供了对存储过程的支持.
存储过程(Procedure):CREATEPROCEDURE([[,…][,parameter_n]])[characteristic.
.
.
]GBase8a管理员手册-10-南大通用数据技术股份有限公司下面介绍创建自定义函数的语法,在GBase8a里,我们为用户提供了对自定义函数的支持.
函数(Function):CREATEFUNCTION([[,…][,parameter_n]])RETURNStype[characteristic.
.
.
]:[IN|OUT|INOUT]param_nametype而函数则没有[IN|OUT|INOUT]标记.
type:AnyvalidGBASEdatatypecharacteristic:LANGUAGESQL|[NOT]DETERMINISTIC|{CONTAINSSQL|NOSQL|READSSQLDATA|MODIFIESSQLDATA}|SQLSECURITY{DEFINER|INVOKER}|COMMENT'string'针对CONTAINSSQL,NOSQL,READSSQLDATA,MODIFIESSQLDATA的使用,需要注意的是,虽然可以一次性全部指定,但仅最后一个出现的关键字为有效的.
:这个语法参数是一系列的SQL语句的组合,其中包含一些数据操作以完成一定的功能逻辑.
GBase8a管理员手册南大通用数据技术股份有限公司-11-修改存储过程或函数ALTER{PROCEDURE|FUNCTION}sp_name[characteristic.
.
.
]characteristic:{CONTAINSSQL|NOSQL|READSSQLDATA|MODIFIESSQLDATA}|SQLSECURITY{DEFINER|INVOKER}|COMMENT'string'删除存储过程或函数DROP{PROCEDURE|FUNCTION}[IFEXISTS]sp_name3.
1.
5哈希索引使用哈希索引能提高等值精确查询的性能.
创建哈希索引时需明确指明创建哈希索引的列及该列所在的表.
哈希索引创建成功后,在数据存储介质上存放数据的位置会产生与索引相关的文件.
哈希索引有两种类型,一种是全局索引,称为全局哈希索引,基于表中整列建立索引;一种是局部索引,称局部哈希索引,基于表中第一个DC建立索引.
创建哈希索引后,基于索引列的等值查询的性能会提高,尤其是表中的数据量非常大的情况,在小数据量的情况下,哈希索引对性能的提升效果不明显.
支持创建哈希索引的数据类型,见下表:可创建索引的数据类型TINYINTSAMLLINTINTBIGINTFLOATDOUBLEGBase8a管理员手册-12-南大通用数据技术股份有限公司可创建索引的数据类型DECIMALCHARVARCHARDATEDATETIMETIME创建全局哈希索引CREATEINDEXIDX_T1_AONT1(A)USINGHASHGLOBAL;创建局部哈希索引CREATEINDEXIDX_T2_AONT2(A)USINGHASHLOCAL;删除索引DROPINDEXIDX_T1_AONT1;DROPINDEXIDX_T2_AONT2;使用限制说明:二进制类型的列不适合使用哈希索引;或者该列数据量较大,但distinct值较少时,也不适合使用哈希索引.
创建索引时,只能指定单列,不能指定多列创建联合索引.
同一表上不能创建相同名称的哈希索引,同一表的同一列上能且只能创建一个哈希索引.
3.
2DML使用GBase8a批量执行INSERT、UPDATE、DELETE等操作的性能,高于单条执行这些操作.
3.
2.
1INSERTGBase8a管理员手册南大通用数据技术股份有限公司-13-GBase8a支持向表中插入数据.
INSERT[INTO][database_name.
]tbl_name[(col_name,.
.
.
)]VALUES({expr|DEFAULT}或INSERT[INTO][database_name.
]tbl_name[(col_name,.
.
.
)]SELECT.
.
.
FROM[database_name.
]tbl_name;创建表t1和t2CREATETABLEt1(idint);CREATETABLEt2(idint);示例:插入数据gbase>INSERTINTOt1VALUES(1),(2),(3),(4),(5),(6),(2),(3),(1);QueryOK,9rowsaffectedRecords:9Duplicates:0Warnings:0gbase>INSERTINTOt2SELECT*FROMt1;QueryOK,9rowsaffectedRecords:9Duplicates:0Warnings:03.
2.
2UPDATEGBase8a支持更新表中数据.
语法:UPDATE[database_name.
]tbl_nameSETcol_name1=expr1[,col_name2=expr2.
.
.
][WHEREwhere_definition]创建表t1GBase8a管理员手册-14-南大通用数据技术股份有限公司CREATETABLEt1(idint);表t1中插入数据INSERTINTOt1VALUES(1),(2),(3),(4),(5),(6),(2),(3),(1);示例:更新表中数据gbase>UPDATEt1SETt0.
id=t0.
id+1WHEREt0.
id>1;QueryOK,7rowsaffected3.
2.
3DELETEGBase8a支持删除表中数据.
语法:DELETE[FROM][database_name.
]tbl_name[tbl_alias][WHEREwhere_definition]创建表t1CREATETABLEt(aint);示例1:标准删除语句.
gbase>INSERTINTOtVALUES(1),(2),(3),(4),(5);gbase>DELETEFROMtWHEREa=2;QueryOK,1rowaffected示例2:省略关键字FROM的删除.
gbase>INSERTINTOtVALUES(1),(2),(3),(4),(5);gbase>DELETEtWHEREa=2;QueryOK,1rowaffected示例3:按照别名删除,同时省略掉FROM关键字.
gbase>INSERTINTOtVALUES(1),(2),(3),(4),(5);GBase8a管理员手册南大通用数据技术股份有限公司-15-gbase>DELETEtttWHEREtt.
a=2;QueryOK,1rowaffectedGBase8a管理员手册-16-南大通用数据技术股份有限公司4审计日志4.
1简介审计日志最重要的作用,就是用于监控SQL执行性能,当一些SQL语句的执行用时大于long_query_time设定值的时候,审计日志便将这些SQL语句记录下来,方便用户针对这些执行效率低下的SQL语句进行分析,优化,改写,从而提高SQL语句的执行效率.
审计日志记录的主要内容如下:thread_id:线程号,同processlist中的ID;taskid:每个sql任务编号;start_time:开始执行时间;end_time:结束执行时间;user_host:登录的用户和IP,显示格式为:priv_user[user]@hostname[ip];user:用户名;host_ip:用户登录端IP地址;query_time:执行语句所用时间;rows:行数;db:执行语句所针对的数据库;table_list:涉及表,格式:``.
`sql_text:记录执行用时大于long_query_time设定值的SQL语句;sql_type:sql类型,如DDL、DML、DQL、OTHERS;sql_command:sql命令类型,如SELECT、UPDATE,INSERT,LOAD等;GBase8a管理员手册南大通用数据技术股份有限公司-17-algorithms:涉及的算子,比如JOIN、WHERE、GROUP、HAVING等;status:sql执行状态,如SUCCESS、FAILED、KILLED等;conn_type:用户登录方式(CAPI、ODBC、JDBC、ADO.
NET、STUDIO);其中sql_command的取值范围为:INSERT、DELETE、UPDATE、LOAD、CREATEUSER、CREATEDB、CREATETABLE、CREATEVIEW、CREATEINDEX、CREATEPROCEDURE、CREATEFUNCTION、RENAMEUSER、ALTERDB、ALTERTABLE、ALTERPROCEDURE、ALTERFUNCTION、ALTEREVENT、DROPUSER、DROPDB、DROPTABLE、DROPVIEW、DROPINDEX、DROPPROCEDURE、DROPFUNCTION、DROPEVENT、TRUNCATE、GRANT、REVOKE、SELECT和OTHERS.
algorithms的取值范围为:START_WITH、CONNECT_BY、JOIN、WHERE、GROUP、OLAP_GROUP、HAVING、OLAP_FUNC、DISTINCT、ORDER和LIMIT.
若一个SQL涉及多个算子,各算子之间用逗号分割.
目前,用户每次查看的审计日志为登录节点机器上的日志内容.
4.
2配置参数可以使用如下配置方式:使用配置audit_log参数的方式开启或关闭审计日志.
需要配置为全局级变量(默认为0,即关闭审计日志).
SETGLOBALaudit_log=0;或SETGLOBALaudit_log=1;配置long_query_time参数,决定执行时间超过多少时长的操作会被记入审计日志(默认为10秒).
SETlong_query_time=5;(当前会话生效)或GBase8a管理员手册-18-南大通用数据技术股份有限公司SETGLOBALlong_query_time=5;(如果将本参数设置为全局变量,在本配置生效后,所有新建会话生效)配置审计日志输出方式,必须设成表形式(即设为table,就能以表形式输出审计日志).
SETGLOBALlog_output='table';4.
3存储方式GBase8a使用如下方式存储这些内容:审计日志的信息存储在系统表gbase.
audit_log中.
4.
4使用约束审计日志用于记录所有的SQL操作,对于包含结果集行数的统计操作,只涉及以下4种DML操作:SELECT、DELETE、INSERT和UPDATE.
清空audit_log时,需要使用TRUNCATEaudit_log语句,一般情况下,建议每2-3个月可以TRUNCATE一次audit_log表,用于清除陈旧日志信息,避免数据过多,影响日后的分析.
4.
5使用示例示例1:使用系统表查看审计日志.
$gbase-uroot-pEnterpassword:GBaseclient8.
5.
1.
2build37185.
Copyright(c)2004-2013,GBase.
AllRightsReserved.
gbase>SETGLOBALaudit_log=1;QueryOK,0rowsaffectedGBase8a管理员手册南大通用数据技术股份有限公司-19-gbase>SETlong_query_time=0;QueryOK,0rowsaffectedgbase>SETGLOBALlog_output='table';QueryOK,0rowsaffectedgbase>DROPUSERtzt;QueryOK,0rowsaffectedgbase>DROPDATABASEtest;QueryOK,1rowaffectedgbase>CREATEUSERtztidentifiedby'tzt';QueryOK,0rowsaffectedgbase>GRANTALLON*.
*TOtzt@'%';QueryOK,0rowsaffectedgbase>CREATEDATABASEtest;QueryOK,1rowaffectedgbase>USEtest;QueryOK,0rowsaffectedgbase>CREATETABLEt1(iint);QueryOK,0rowsaffectedgbase>INSERTINTOt1VALUES(1),(2);QueryOK,2rowsaffectedRecords:2Duplicates:0Warnings:0gbase>SELECTstart_time,user_host,query_time,rows,LEFT(sql_text,30),conn_typeFROMgbase.
audit_log;|start_time|user_host|GBase8a管理员手册-20-南大通用数据技术股份有限公司|2015-01-3015:23:12|root[root]@localhost[127.
0.
0.
1]||2015-01-3015:23:27|root[root]@localhost[127.
0.
0.
1]||2015-01-3015:23:35|root[root]@localhost[127.
0.
0.
1]||2015-01-3015:23:35|root[root]@localhost[127.
0.
0.
1]||2015-01-3015:23:46|root[root]@localhost[127.
0.
0.
1]||2015-01-3015:23:54|root[root]@localhost[127.
0.
0.
1]||2015-01-3015:24:02|root[root]@localhost[127.
0.
0.
1]||2015-01-3015:24:09|root[root]@localhost[127.
0.
0.
1]||2015-01-3015:24:21|root[root]@localhost[127.
0.
0.
1]||2015-01-3015:24:35|root[root]@localhost[127.
0.
0.
1]||query_time|rows|LEFT(sql_text,30)|conn_type||00:00:00.
090623|0|(1)SETGLOBALlog_output='ta|CAPI||00:00:00.
000953|0|(1)DROPUSERtzt|CAPI||00:00:00.
109080|0|(1)DROPDATABASEtest|CAPI||00:00:00.
002490|1|(1)SELECTDATABASE()|CAPI||00:00:00.
000464|0|(1)CREATEUSERtztidentified|CAPI||00:00:00.
000404|0|(1)GRANTALLON*.
*TOtzt@'%'|CAPI||00:00:00.
009732|0|(1)CREATEDATABASEtest|CAPI||00:00:00.
000102|0|(1)USEtest|CAPI||00:00:00.
036431|0|(1)CREATETABLEt1(iint)|CAPI||00:00:00.
034718|2|(1)INSERTINTOt1VALUES(1),(|CAPI|10rowsinsetgbase>INSERTINTOt1SELECT*FROMt1;QueryOK,2rowsaffectedRecords:2Duplicates:0Warnings:0gbase>UPDATEt1SETi=3;QueryOK,4rowsaffectedRowsmatched:4Changed:4Warnings:0gbase>DELETEFROMt1;GBase8a管理员手册南大通用数据技术股份有限公司-21-QueryOK,4rowsaffectedgbase>SELECTstart_time,user_host,query_time,rows,LEFT(sql_text,30),conn_typeFROMgbase.
audit_log;|start_time|user_host|2015-01-3015:23:12|root[root]@localhost[127.
0.
0.
1]|2015-01-3015:23:27|root[root]@localhost[127.
0.
0.
1]|2015-01-3015:23:35|root[root]@localhost[127.
0.
0.
1]|2015-01-3015:23:35|root[root]@localhost[127.
0.
0.
1]|2015-01-3015:23:46|root[root]@localhost[127.
0.
0.
1]|2015-01-3015:23:54|root[root]@localhost[127.
0.
0.
1]|2015-01-3015:24:02|root[root]@localhost[127.
0.
0.
1]|2015-01-3015:24:09|root[root]@localhost[127.
0.
0.
1]|2015-01-3015:24:21|root[root]@localhost[127.
0.
0.
1]|2015-01-3015:24:35|root[root]@localhost[127.
0.
0.
1]|2015-01-3015:24:45|root[root]@localhost[127.
0.
0.
1]|2015-01-3016:20:54|root[root]@localhost[127.
0.
0.
1]|2015-01-3016:25:11|root[root]@localhost[127.
0.
0.
1]|2015-01-3016:25:29|root[root]@localhost[127.
0.
0.
1]|query_time|rows|LEFT(sql_text,30)|conn_type||00:00:00.
090623|0|(1)SETGLOBALlog_output='ta|CAPI||00:00:00.
000953|0|(1)DROPUSERtzt|CAPI||00:00:00.
109080|0|(1)DROPDATABASEtest|CAPI||00:00:00.
002490|1|(1)SELECTDATABASE()|CAPI||00:00:00.
000464|0|(1)CREATEUSERtztidentified|CAPI||00:00:00.
000404|0|(1)GRANTALLON*.
*TOtzt@'%'|CAPI||00:00:00.
009732|0|(1)CREATEDATABASEtest|CAPI||00:00:00.
000102|0|(1)USEtest|CAPI||00:00:00.
036431|0|(1)CREATETABLEt1(iint)|CAPI||00:00:00.
034718|2|(1)INSERTINTOt1VALUES(1),(|CAPI||00:00:00.
001751|10|(1)SELECTstart_time,user_host|CAPI|GBase8a管理员手册-22-南大通用数据技术股份有限公司|00:00:00.
029832|2|(1)INSERTINTOt1SELECT*FRO|CAPI||00:00:00.
013553|4|(1)UPDATEt1SETi=3|CAPI||00:00:00.
009300|4|(1)DELETEFROMt1|CAPI|14rowsinsetGBase8a管理员手册南大通用数据技术股份有限公司-23-5权限管理5.
1用户管理用户可以使用CREATEUSER语句创建一个新的GBase8a帐号.
更多关于用户管理的语法说明,请参见《GBase8aSQL参考手册》的相关章节内容.
下面通过两个示例,介绍创建用户和更改用户密码的操作过程.
示例1:使用超级用户root登录,创建一个用户user1.
$gbase-uroot-pEnterpassword:GBaseclient8.
5.
1.
2build27952.
Copyright(c)2004-2013,GBase.
AllRightsReserved.
gbase>CREATEUSERuser1;QueryOK,0rowsaffected示例2:使用超级用户root登录,修改用户user1的密码,然后使用user1的新密码登录.
$gbase-uroot-pEnterpassword:GBaseclient8.
5.
1.
2build27952.
Copyright(c)2004-2013,GBase.
AllRightsReserved.
gbase>SETPASSWORDFORuser1=PASSWORD('H133%_h');QueryOK,0rowsaffected退出登录,使用use1用户登录,验证修改口令的正确性.
GBase8a管理员手册-24-南大通用数据技术股份有限公司$gbase-uuser1-pEnterpassword:GBaseclient8.
5.
1.
2build27952.
Copyright(c)2004-2013,GBase.
AllRightsReserved.
gbase>5.
2权限管理在实际的项目中,建议用户规划好不同的数据库用户的职责,并给它赋予相应的操作权限,用以保证数据库的安全操作.
更多关于权限的的语法说明,请参见《GBase8aSQL参考手册》的相关章节内容.
下面通过两个示例,介绍权限管理的操作过程.
示例1:使用超级用户root,创建一个user_general用户,该用户具备SELECT操作的权限.
$gbase-uroot-pEnterpassword:GBaseclient8.
5.
1.
2build27952.
Copyright(c)2004-2013,GBase.
AllRightsReserved.
gbase>CREATEUSERuser_general;QueryOK,0rowsaffectedgbase>SETPASSWORDFORuser_general=PASSWORD('H%897_@m');QueryOK,0rowsaffected--只赋予SELECT权限.
*.
*代表所有数据库的数据库对象,例如:表,视图,存储过程.
GBase8a管理员手册南大通用数据技术股份有限公司-25-gbase>GRANTSELECTON*.
*TOuser_general;QueryOK,0rowsaffectedgbase>\qBye--使用user_general登录数据库,验证其只具备SELECT权限.
--存在test数据库和一张t1表,这只是为演示示例提前创建完毕的.
$gbase-uuser_general-pEnterpassword:GBaseclient8.
5.
1.
2build27952.
Copyright(c)2004-2013,GBase.
AllRightsReserved.
gbase>USEtest;QueryOK,0rowsaffectedgbase>UPDATEt1SETa=11WHEREa=10;ERROR1142(42000):UPDATEcommanddeniedtouser'user_general'@'localhost'fortable't1'gbase>DELETEFROMt1;ERROR1142(42000):DELETEcommanddeniedtouser'user_general'@'localhost'fortable't1'gbase>SELECT*FROMt1;+------+|a|+------+|1||2||3||4||5||6||7|GBase8a管理员手册-26-南大通用数据技术股份有限公司|8||9||10|+------+10rowsinset示例2:使用超级用户root,创建一个user_admin用户,该用户具备超级用户的权限,即全部的权限.
$gbase-uroot-pEnterpassword:GBaseclient8.
5.
1.
2build27952.
Copyright(c)2004-2013,GBase.
AllRightsReserved.
gbase>CREATEUSERuser_admin;QueryOK,0rowsaffectedgbase>SETPASSWORDFORuser_admin=PASSWORD('H%897_@m');QueryOK,0rowsaffected--赋予全部权限.
*.
*代表所有数据库的数据库对象,例如:表,视图,存储过程.
gbase>GRANTALLON*.
*TOuser_admin;QueryOK,0rowsaffectedgbase>\qBye--使用user_admin登录数据库,验证其只具备SELECT权限.
--存在test数据库和一张t1表,这只是为演示示例提前创建完毕的.
$gbase-uuser_admin-pEnterpassword:GBase8a管理员手册南大通用数据技术股份有限公司-27-GBaseclient8.
5.
1.
2build27952.
Copyright(c)2004-2013,GBase.
AllRightsReserved.
gbase>USEtest;QueryOK,0rowsaffected--可以SELECT数据.
gbase>SELECT*FROMt1;+------+|a|+------+|1||2||3||4||5||6||7||8||9||10|+------+10rowsinset--可以UPDATE数据.
gbase>UPDATEt1SETa=11WHEREa=10;QueryOK,1rowaffectedgbase>SELECT*FROMt1;+------+|a|+------+|1||2||3||4|GBase8a管理员手册-28-南大通用数据技术股份有限公司|5||6||7||8||9||11|+------+10rowsinset--可以DELETE数据.
gbase>DELETEFROMt1WHEREa>=5;QueryOK,6rowsaffectedgbase>SELECT*FROMt1;+------+|a|+------+|1||2||3||4|+------+4rowsinset--可以CREATE用户.
gbase>CREATEUSERuse_test;QueryOK,0rowsaffected--可以DROP用户.
gbase>DROPUSERuse_test;QueryOK,0rowsaffectedGBase8a管理员手册南大通用数据技术股份有限公司-29-6图形化管理工具6.
1企业管理器GBase8a企业管理器是GBase8a提供的一个图形化集成环境,用于访问、配置、控制、管理GBase8a的数据对象.
它将一组多样化的图形工具与功能丰富的SQL脚本编辑器组合在一起,通过它数据库管理员能够以图形化方式和SQL命令行方式与GBase8aServer交互.
GBase8a企业管理器使用JDBCDriver与GBase8a建立连接,通过JDBC接口与GBase8a进行交互.
使用GBase8a企业管理器可以完成如下工作:管理多台GBase8a数据库服务器.
可视化管理数据库、表、索引、视图、存储过程和函数等数据对象.
可视化创建用户、赋予用户权限、编辑用户和删除用户.
可视化浏览、编辑表中的数据记录.
编辑、执行SQL脚本.
使用SQL模板编辑、执行SQL脚本.
可视化查看本地日志.
关于企业管理器的安装,使用的内容介绍,请查看《GBase8a管理工具手册》.
GBase8a管理员手册-30-南大通用数据技术股份有限公司7加载功能在V8.
6.
1.
1版本GBase8a中,加载功能直接集成在GBase8a内部,不需要额外部署外部加载工具.
与V8.
5.
1.
2版本单机加载工具相比,新版加载工具具备如下一些特性和优点:1)提供面向用户的SQL接口,更符合用户的使用习惯;2)支持从通用数据服务器拉取数据,支持ftp/http/hdfs/sftp等多种协议;3)支持普通文本、gzip压缩、snappy压缩、lzo压缩等多种格式数据文件;4)支持普通文本与定长文本的加载(format3和format4),并与V8.
5.
1.
2版本格式兼容;5)支持错误数据溯源功能,可以准确定位错误数据在源文件中的位置;7.
1语法格式GBase8a支持通过SQL接口进行数据加载.
语法:LOADDATAINFILE'file_list'INTOTABLEtbl_name[options]tbl_name:[database_name.
]table_nameGBase8a管理员手册南大通用数据技术股份有限公司-31-options:[DATA_FORMATnumber[HAVINGLINESSEPARATOR]][NULL_VALUE'string'][FIELDS[TERMINATEDBY'string'][ENCLOSEDBY'string'][PRESERVEBLANKS][AUTOFILL][{LENGTH|DEFINER}'string'][TABLE_FIELDS'string']][LINES[TERMINATEDBY'string']][MAX_BAD_RECORDSnumber][DATETIMEFORMATformat][DATEFORMATformat][TIMESTAMPFORMATformat][TIMEFORMATformat][TRACEnumber][TRACE_PATH'string'][PARALLELnumber][SKIP_BAD_FILEnumber][SETcol_name=value[,.
.
.
]]参数说明:FILE_LIST:待加载文件列表.
支持以本地文件方式和URL方式指定数据文件路径,以英文逗号(',')作为多个文件的分隔符.
scheme://[user:password@]host[:port]/path,GBase8a管理员手册-32-南大通用数据技术股份有限公司scheme://[user:password@]host[:port]/path同时文件名、目录部分均支持使用通配符,具体如下表所示.
默认对路径及文件进行匹配.
当关闭目录、文件通配功能时,对于SQL中出现的通配符按7.
2节的使用约束当做特殊字符处理.
通配符含义说明*匹配0或多个字符a*ba与b之间可以有任意长度的任意字符,也可以一个也没有,如aabcb,axyzb,a012b,ab.
匹配任意一个字符aba与b之间必须也只能有一个字符,可以是任意字符,如aab,abb,acb,a0b.
[list]匹配list中的任意单一字符a[xyz]ba与b之间必须也只能有一个字符,但只能是x或y或z,如:axb,ayb,azb.
[!
list]匹配除list中的任意单一字符a[!
0-9]ba与b之间必须也只能有一个字符,但不能是阿拉伯数字,如axb,aab,a-b.
[c1-c2]匹配c1-c2中的任意单一字符如:[0-9][a-z]a[0-9]b0与9之间必须也只能有一个字符如a0b,a1b.
.
.
a9b.
{string1,string2,.
.
.
}(此功能不支持,{}作为普通字符处理)匹配sring1或string2(或更多)其一字符串,string也可以是通配符a{abc,xyz,123}ba与b之间只能是abc或xyz或123这三个字符串之一.
(匹配三次,得到三次的结果,即最多可以有三个重复的结果){1.
.
3}.
txt这种情况就只可能是1.
txt或2.
txt或3.
txta{1,2}b{3,4}这样会依次匹配输出结果是a1b3a1b4a2b3a2b4例如:http://10.
10.
1.
1/data/tblGBase8a管理员手册南大通用数据技术股份有限公司-33-OPTIONS:DATA_FORMAT:用来指定使用哪种方式解析数据文件并加载.
指定为3,表示使用文本方式加载.
指定为4,表示使用定长方式加载.
如果某列数据可能包含了行分隔符,则需要在SQL中输入'HAVINGLINESSEPARATOR'子句.
指定为5,表示使用文本文件宽松模式,即数据源文件为包围符中含有换行符和包围符文本文件,或多列少列文本文件.
NULL_VALUE:用于指定空值字符,支持不超过15个任意字符的组合,参数值以引号包围,指定方式与字段包围符一样.
FIELDS子段:TERMINATEDBY:用于指定字段分隔符,支持不超过15个任意字符的组合,支持任意字符,参数值以单引号包围,仅当使用文本方式加载时有效.
可使用字符本身(仅限可见字符,如:"|")、C风格转义字符(如:"\a")、\xhh十六进制(如:"\xFF")或x''十六进制(如:"x'09'")四种方式指定.
例如:'|',表示用|作为分隔字符.
ENCLOSEDBY:用于指定字段包围符,支持任意单字符,参数值以单引号包围,仅当使用文本方式加载时有效.
可使用字符本身(仅限可见字符,如:"|")、C风格转义字符(如:"\a")、\xhh十六进制(如:"\xFF")或x''十六进制(如:"x'09'")四种方式指定.
PRESERVEBLANKS:用于设定是否保留字段内容两端的空格,默认不保留空格.
AUTOFILL:用于设定是否启用缺失列自动补齐功能,启用该参数后,对缺失分割符的字段数据按照default值或者NULL值进行加载,默认不自动补齐.
LENGTH|DEFINER:在使用定长模式加载时,用于设定字段长度的参数.
定长格式数据导入时,设置每个字段的长度,有多个字段时,用逗号分隔.
TABLE_FIELDS:用于指定列加载,对于日期时间类型可以设置每一列的格GBase8a管理员手册-34-南大通用数据技术股份有限公司式.
SET:指定列值加载,加载系统将待加载文件和指定加载列值加载到集群系统的表中.
输入的类型应为常量,包括字符串、整数值、浮点值和NULL.
1、支持指定所有列类型加载值;2、指定列值为常量值(包括NULL),包括字符串(单引号包围)、十进制数值(10)、浮点值(10.
9)、NULL、16进制表示的字符串(0xbac3)、科学计数法(10e4);3、支持多列同时指定加载值.
最多可SET表列数-1,如果设置的列数与表定义中的列数一致将报错:Specifiedallfields.
4、支持format=3、format=4以及format=5;使用限制说明:1、输入除常量值外的其他值,如列名、表达式等会报错,报错信息为Column'addr'shouldbeconstvalue;2、指定的列不能存在于TABLE_FIELDS中,否则报错;3、如果没有指定AUTOFILL,指定值的列数+数据中列数之和必须等于表定义或者TABLE_FIELDS(若指定了TABLE_FIELDS)中的列数,否则会产生错误数据;如果指定了AUTOFILL,则可以小于表定义的列数,缺少的列会自动补全.
如果TABLE_FIELDS列数+SET列数小于表定义的列数,能够正常加载,没有涉及的列按照default值补齐;4、同一列在SQL中不能重复指定,否则报错.
LINES子段:TERMINATEDBY:行分隔符,支持任意单字符,参数值以引号包围.
指定方式与包围符一样.
默认行分隔符为'\n'.
GBase8a管理员手册南大通用数据技术股份有限公司-35-MAX_BAD_RECORDS:在每次加载的任务中,设定错误数据行数的上限.
当本次加载任务产生的错误数据行数大于max_bad_records设定的值时,加载任务回滚,加载工具报错退出.
此参数取值范围为:[0,4294967295].
此参数为可选参数,默认不限制错误条数.
0表示只要有错误数据就报错退出.
DATEFORMAT:用来指定date列类型的默认格式,默认为'%Y-%m-%d'.
DATETIMEFORMAT:用来指定datetime列的默认格式,默认为'%Y-%m-%d%H:%i:%s'.
TIMESTAMPFORMAT:用来指定timestamp列的默认格式,默认为'%Y-%m-%d%H:%i:%s'.
TIMEFORMAT:用来指定time列的默认格式,默认为'%H:%i:%s'.
TRACE:用来指示本次加载是否保存错误数据溯源.
如果指定为0,则不溯源.
如果指定为1,则进行溯源.
默认值为1.
溯源信息包括:错误数据所在的文件,所在行号.
TRACE_PATH:用来指定本次加载过程中产生的错误数据和日志存放路径.
缺省情况下,错误数据和溯源日志记录在加载机节点的/opt/gnode/log/gbase/loader_logs下.
新版支持加载错误数据和溯源信息日志直接上传至FTP/SFTP服务器.
可以由参数trace_path指定上传的路径,如:trace_path'ftp://gbase:gbase@192.
168.
6.
15/loadlogs'.
注意上传ftp功能需要在gbase_loader_logs_collect=0的情况下起效.
PARALLEL:用来控制加载并行度,取值范围[0,1024].
默认值为0,表示并行度取值是线程池最大可用线程数.
SKIP_BAD_FILE:用来指定本次加载任务中是否忽略不存在或没有读取权限的数据文件继续加载.
如果指定为0,则加载报错终止.
如果指定为1,则忽略异常文件继续加载.
默认值为0.
GBase8a管理员手册-36-南大通用数据技术股份有限公司7.
2使用约束1.
当使用定长加载模式时,必须指定FIELDSLENGTH的值.
2.
当使用文本加载模式时,NULL_VALUE的默认值为'\N'.
3.
当使用文本加载方式时,行分隔符默认为'\n'.
4.
当使用文本加载方式时,如果某列数据可能包含了行分隔符,则需要在SQL中输入'HAVINGLINESSEPARATOR'子句,同时需要输入入'ENCLOSEDBY'指定字段包围符5.
当在加载文件列表的URL中的用户名(user)、密码(password)、主机名(host)或文件路径(path)中包含下表所列的特殊字符时,对特殊字符需要用百分号编码代替.
URL:scheme://[user:password@]host[:port]/path百分号编码=%+特殊字符的两字符十六进制值特殊字符百分号编码说明%%25要求百分号编码:%3A标准gen-delims要求百分号编码/%2F%3F#%23[%5B]%5D@%40!
%21标准sub-delims建议百分号编码$%24&%26'%27(%28)%29GBase8a管理员手册南大通用数据技术股份有限公司-37-*%2A+%2B,%2C;%3B=%3D\%5C标准中未列字符建议百分号编码"%22%3E空格%20以下斜体字内容引用自标准RFC-3986,虽然可能部分保留字符也不会引起URI解析问题,但仍建议对所有非保留字符外的字符均使用百分号编码.
更详尽的URI编码规则请参阅标准RFC-3986文档.
2.
1.
Percent-Encodingpct-encoded="%"HEXDIGHEXDIG2.
2.
ReservedCharactersreserved=gen-delims/sub-delimsgen-delimssub-delims2.
3.
UnreservedCharactersunreserved=ALPHA/DIGIT示例:FTP用户名为test,密码为abc/def错误:gbase>loaddatainfile'ftp://test:abc/def@192.
168.
0.
1/data/*.
tbl'intotabletdata_format3;正确:gbase>loaddatainfile'ftp://test:abc%2Fdef@192.
168.
0.
1/data/*.
tbl'intotabletdata_format3;GBase8a管理员手册-38-南大通用数据技术股份有限公司6.
当在加载文件列表的URL中的用户名(user)、密码(password)、主机名(host)或文件路径(path)中包含下表所列的特殊字符时,对特殊字符需要用转义字符代替.
特殊字符转义字符说明\\\要求用转义字符'\'要求用转义字符注:如果上表所列特殊字符已用百分号编码,则无需再用转义字符代替.
示例:FTP用户名为test,密码为abc\def错误:gbase>loaddatainfile'ftp://test:abc\def@192.
168.
0.
1/data/*.
tbl'intotabletdata_format3;正确:gbase>loaddatainfile'ftp://test:abc\\def@192.
168.
0.
1/data/*.
tbl'intotabletdata_format3;7.
宽松模式处理规则与文本方式加载处理规则不一致的有:行分隔符、列分隔符、包围符仅支持单字符(单字节),指定多字符报错;数据中有空值时,入库数据为null,不是default值,设定default值对加载结果没有影响;支持超宽列自动截断;数据文件的包围符、列分隔符与设置的不一致,如果第一列为字符型,数据截断入库,后面的字段都为空值;如果第一列为数值型,则都为错误数据.
指定auto_fill_column,在少列的时候自动补齐,无论列定义是否有default值,都会用null值补齐缺失列,而不是default值.
7.
3使用示例1.
以文本方式加载位于FTP服务器上的a.
tbl文件,使用默认行分隔符GBase8a管理员手册南大通用数据技术股份有限公司-39-和默认列分隔符.
LOADDATAINFILE'ftp://127.
0.
0.
1/data/a.
tbl'INTOTABLEtest.
tDATA_FORMAT3;2.
以文本方式加载位于FTP服务器上的a.
tbl文件,使用默认行分隔符,并指定'|'为列分隔符.
LOADDATAINFILE'ftp://127.
0.
0.
1/data/a.
tbl'INTOTABLEtest.
tDATA_FORMAT3FIELDSTERMINATEDBY'|';3.
以文本方式加载位于FTP服务器上data目录下的所有扩展名为tbl文件,使用默认行分隔符和默认列分隔符.
LOADDATAINFILE'ftp://127.
0.
0.
1/data/*.
tbl'INTOTABLEtest.
tDATA_FORMAT3;4.
以文本方式加载位于FTP服务器上的a.
tbl文件,字段内容中有默认行分隔符'\n',指定字段包围符'"'.
LOADDATAINFILE'ftp://127.
0.
0.
1/data/a.
tbl'INTOTABLEtest.
tDATA_FORMAT3HAVINGLINESSEPARATORFIELDSENCLOSEDBY'"';5.
以文本方式加载位于FTP服务器上的a.
tbl文件,指定空值'\N',保留字段两端空格,并自动补齐缺失列.
LOADDATAINFILE'ftp://127.
0.
0.
1/data/a.
tbl'INTOTABLEtest.
tDATA_FORMAT3NULL_VALUE'\\N'FIELDSPRESERVEBLANKSAUTOFILL;6.
以文本方式加载位于FTP服务器上的a.
tbl文件,指定行分隔符'|',使用默认列分隔符.
LOADDATAINFILE'ftp://127.
0.
0.
1/data/a.
tbl'INTOTABLEtest.
tGBase8a管理员手册-40-南大通用数据技术股份有限公司DATA_FORMAT3LINESTERMINATEDBY'|';7.
以定长方式加载位于HTTP服务器上的b.
tbl文件,使用默认行分隔符.
LOADDATAINFILE'http://127.
0.
0.
1/data/b.
tbl'INTOTABLEtest.
tDATA_FORMAT4FIELDSLENGTH'20,11,10'TABLE_FIELDS'name,mphone,birthdaydate"%m-%d-%Y"';8.
以文本方式加载位于HTTP服务器上的b.
tbl.
gz压缩文件,使用默认行分隔符和默认列分隔符.
LOADDATAINFILE'ftp://127.
0.
0.
1/data/b.
tbl.
gz'INTOTABLEtest.
tDATA_FORMAT3;9.
以文本方式加载位于HDFS服务器上的a.
tbl.
snappy压缩文件,使用默认行分隔符和默认列分隔符.
LOADDATAINFILE'hdp://gbase:gbase@127.
0.
0.
1:50070/data/a.
tbl.
snappy'INTOTABLEtest.
tDATA_FORMAT3;10.
以文本方式加载位于FTP服务器上的a.
tbl文件,指定错误数据溯源,并指定错误数据和日志存放路径.
LOADDATAINFILE'ftp://127.
0.
0.
1/data/a.
tbl'INTOTABLEtest.
tDATA_FORMAT3TRACE1TRACE_PATH'/home/gbase/loader_logs'11.
以文本方式加载位于FTP服务器上的a.
tbl文件,指定默认日期时间格式.
LOADDATAINFILE'ftp://127.
0.
0.
1/data/a.
tbl'INTOTABLEtest.
tDATA_FORMAT3DATETIMEFORMAT'%H:%i:%s%Y-%m-%d';GBase8a管理员手册南大通用数据技术股份有限公司-41-12.
以文本方式加载位于FTP服务器上的a.
tbl文件,指定最大允许错误条数.
LOADDATAINFILE'ftp://127.
0.
0.
1/data/a.
tbl'INTOTABLEtest.
tDATA_FORMAT3MAX_BAD_RECORDS013.
以文本方式加载位于FTP服务器上的test.
tbl.
lzo压缩文件,使用默认行分隔符和默认列分隔符.
LOADDATAINFILE'ftp://127.
0.
0.
1/data/test.
tbl.
lzo'INTOTABLEtest.
tDATA_FORMAT3;14.
以文本方式加载位于SFTP服务器上的a.
tbl文件,使用默认行分隔符和默认列分隔符,用sftp://user:password@host/path方式指定SFTP服务器的用户名和密码.
LOADDATAINFILE'sftp://gbase:gbase@127.
0.
0.
1/data/a.
tbl'INTOTABLEtest.
tDATA_FORMAT3;15.
以文本方式加载位于FTP服务器上的a.
tbl文件,指定忽略异常文件.
LOADDATAINFILE'ftp://127.
0.
0.
1/data/a.
tbl'INTOTABLEtest.
tDATA_FORMAT3SKIP_BAD_FILE1;16.
以文本方式加载位于FTP服务器上的a.
tbl文件,使用默认行分隔符和默认列分隔符,用ftp://user:password@host/path方式指定FTP服务器的用户名和密码.
LOADDATAINFILE'ftp://gbase:gbase@127.
0.
0.
1/data/a.
tbl'INTOTABLEtest.
tDATA_FORMAT3;17.
以文本方式加载位于HTTP服务器上的a.
tbl文件,使用默认行分隔符GBase8a管理员手册-42-南大通用数据技术股份有限公司和默认列分隔符,用http://user:password@host/path方式指定HTTP服务器的用户名和密码.
LOADDATAINFILE'http://gbase:gbase@127.
0.
0.
1/data/a.
tbl'INTOTABLEtest.
tDATA_FORMAT3;7.
4数据服务器配置V8.
6.
1.
1版本加载功能支持从通用数据服务器拉取数据,支持ftp/http/hdfs等多种协议.
以下简要描述RedHatEnterpriseLinux6.
2平台上FTP、HTTP和HDFS三种通用文件服务器的配置方法.
7.
4.
1FTP服务器配置使用vsftp搭建FTP服务器1.
查看是否已安装vsftpd#rpm-qavsftpdvsftpd-2.
2.
2-6.
el6_0.
1.
x86_642.
安装vsftpd#rpm-ivhvsftpd-2.
2.
2-6.
el6_0.
1.
x86_64.
rpm3.
修改FTP服务器默认配置#vim/etc/vsftpd/vsftpd.
conf#表示允许匿名用户登录(默认为YES).
anonymous_enable=YES#表示允许本地用户登录(默认为YES).
GBase8a管理员手册南大通用数据技术股份有限公司-43-local_enable=YES#表示开放对本地用户的写权限(默认YES,如仅用作加载文件服务器,可改为NO).
write_enable=NO#设置本地用户的文件生成掩码(默认对本地用户的文件生成掩码是077,可改为022)local_umask=022#允许匿名FTP用户上载文件(默认为NO).
#anon_upload_enable=YES#允许匿名FTP用户创建目录(默认为NO).
#anon_mkdir_write_enable=YES#启用FTP数据端口的连接请求(默认为YES).
connect_from_port_20=YES#使用PAM认证的配置文件名,文件位于/etc/pam.
d目录下pam_service_name=vsftpd#是否使用userlist文件控制访问FTP服务器userlist_enable=YES#设置禁止访问的文件或目录#deny_file={*.
mp3,*.
mov,.
private}#设置隐藏的文件或目录#hide_file={*.
mp3,.
hidden,hide*,h}#设置FTP被动模式开放端口范围pasv_min_port=20001pasv_max_port=21000#设置非匿名登录用户的主目录#local_root=/var/ftp/pub更多的配置可查看vsftpd.
conf文档GBase8a管理员手册-44-南大通用数据技术股份有限公司#manvsftpd.
conf4.
配置允许或禁止访问FTP服务器的用户列表(可跳过)#vim/etc/vsftpd/user_list当/etc/vsftpd/vsftpd.
conf中配置如下时,禁止/etc/vsftpd/user_list中的所有用户访问FTP服务器userlist_enable=YESuserlist_deny=YES(缺省为YES)当/etc/vsftpd/vsftpd.
conf中配置如下时,允许/etc/vsftpd/user_list中的所有用户访问FTP服务器userlist_enable=YESuserlist_deny=NO5.
配置禁止访问FTP服务器的用户列表(可跳过)#vim/etc/vsftpd/ftpusers6.
关闭SELINUX功能或更改其配置(两种方式二选一即可)1)关闭SELINUX功能#vim/etc/selinux/config#ThisfilecontrolsthestateofSELinuxonthesystem.
#SELINUX=cantakeoneofthesethreevalues:#enforcing-SELinuxsecuritypolicyisenforced.
#permissive-SELinuxprintswarningsinsteadofenforcing.
#disabled-NoSELinuxpolicyisloaded.
SELINUX=disable#SELINUXTYPE=cantakeoneofthesetwovalues:#targeted-Targetedprocessesareprotected,#mls-MultiLevelSecurityprotection.
SELINUXTYPE=targetedGBase8a管理员手册南大通用数据技术股份有限公司-45-重启或者执行#setenforce02)更改SELINUX配置#setseboolftp_home_dir1注:当用浏览器访问FTP服务器遇到"500OOPS:cannotchangedirectory:/home/.
.
.
"时,可能为此问题.
7.
关闭或配置防火墙1)关闭防火墙停止防火墙服务#serviceiptablesstopiptables:清除防火墙规则:[确定]iptables:将链设置为政策ACCEPT:filter[确定]iptables:正在卸载模块:[确定]查看防火墙是否在开机时自动启动#chkconfig--listiptablesiptables0:关闭1:关闭2:启用3:启用4:启用5:启用6:关闭禁止防火墙在开机时自动启动#chkconfigiptablesoff或#chkconfigiptablesoff--level2345设置后防火墙在开机时自动启动状态#chkconfig--listiptablesiptables0:关闭1:关闭2:关闭3:关闭4:关闭5:关闭6:关闭2)配置防火墙GBase8a管理员手册-46-南大通用数据技术股份有限公司设置默认规则#iptables-AINPUT-jDROP(注:添加此条规则会阻止未处理的传入数据包,如在此规则之前未添加允许规则将会阻止远程连接)#iptables-AFORWARD-jACCEPT开放FTP端口#iptables-IINPUT-ptcp--dport21-jACCEPT#iptables-IOUTPUT-ptcp--sport21-jACCEPT#iptables-IINPUT-ptcp--dport20-jACCEPT#iptables-IOUTPUT-ptcp--sport20-jACCEPT#iptables-IINPUT-ptcp--dport20001:21000-jACCEPT#iptables-IOUTPUT-ptcp--sport20001:21000-jACCEPT保存防火墙设置#iptables-save>/etc/sysconfig/iptables8.
启动vsftpd服务并设置为开机启动项#servicevsftpdstart为vsftpd启动vsftpd:[确定]#chkconfigvsftpdon9.
复制文件到FTP目录1)如未设置local_root=/var/ftp/pub时,复制文件到/home/xxxx(用户的home目录)2)如已设置local_root=/var/ftp/pub时,复制文件到/var/ftp/pub3)如已设置anonymous_enable=YES时,复制文件到/var/ftp或/var/ftp/pub(匿名登录的主目录)GBase8a管理员手册南大通用数据技术股份有限公司-47-7.
4.
2HTTP服务器配置使用apache搭建HTTP文件服务器1、安装apr和httpd#rpm-ivhapr-1.
3.
9-3.
el6_1.
2.
x86_64.
rpmapr-util-1.
3.
9-3.
el6_0.
1.
x86_64.
rpmapr-util-ldap-1.
3.
9-3.
el6_0.
1.
x86_64.
rpm#rpm-ivhhttpd-2.
2.
15-15.
el6.
x86_64.
rpmhttpd-manual-2.
2.
15-15.
el6.
noarch.
rpmhttpd-tools-2.
2.
15-15.
el6.
x86_64.
rpm2、修改HTTP服务器默认配置#vim/etc/httpd/conf/httpd.
conf修改服务器名称#Ifyourhostdoesn'thavearegisteredDNSname,enteritsIPaddresshere.
#Youwillhavetoaccessitbyitsaddressanyway,andthiswillmake#redirectionsworkinasensibleway.
#ServerNamewww.
example.
com:80ServerName192.
168.
10.
114:80修改以下位置,将其中的"/var/www/html"修改为"/var/www/files"也可直接使用"/var/www/html"作为文件存储位置,跳过这一步#DocumentRoot:Thedirectoryoutofwhichyouwillserveyour#documents.
Bydefault,allrequestsaretakenfromthisdirectory,but#symboliclinksandaliasesmaybeusedtopointtootherlocations.
##DocumentRoot"/var/www/html"DocumentRoot"/var/www/files"GBase8a管理员手册-48-南大通用数据技术股份有限公司##ThisshouldbechangedtowhateveryousetDocumentRootto.
##3、编辑默认欢迎页配置#vim/etc/httpd/conf.
d/welcome.
conf注释掉以下几行(默认如果html下没有默认页面将显示403错误页面)##Options-Indexes#ErrorDocument403/error/noindex.
html#4、关闭或配置防火墙1)关闭防火墙停止防火墙服务#serviceiptablesstopiptables:清除防火墙规则:[确定]iptables:将链设置为政策ACCEPT:filter[确定]iptables:正在卸载模块:[确定]查看防火墙是否在开机时自动启动#chkconfig--listiptablesIptables0:关闭1:关闭2:启用3:启用4:启用5:启用6:关闭禁止防火墙在开机时自动启动#chkconfigiptablesoff或GBase8a管理员手册南大通用数据技术股份有限公司-49-#chkconfigiptablesoff--level2345设置后防火墙在开机时自动启动状态#chkconfig--listiptablesIptables0:关闭1:关闭2:关闭3:关闭4:关闭5:关闭6:关闭2)配置防火墙设置默认规则#iptables-AINPUT-jDROP#iptables-AFORWARD-jACCEPT开放HTTP端口#iptables-IINPUT-ptcp-mtcp--dport80-jACCEPT#iptables-IOUTPUT-ptcp-mtcp--sport80-jACCEPT保存防火墙设置#iptables-save>/etc/sysconfig/iptables5、启动httpd服务并设置为开机启动项#servicehttpdstart正在启动httpd:[确定]#chkconfighttpdon6、将数据文件复制到/var/www/files(或/var/www/html)下7、用浏览器访问http://192.
168.
10.
114即可看到文件列表(前面配置的ServerName192.
168.
10.
114:80)7.
4.
3HDFS服务器配置使用ApacheHadoop2.
6.
0搭建HDFS服务器GBase8a管理员手册-50-南大通用数据技术股份有限公司1、Hadoop集群环境准备操作系统用户:gbase集群各节点间的ssh互信已建立.
集群已配置C3工具.
开源产品版本:ApacheHadoop2.
6.
0JVM1.
6或1.
7版本集群节点功能规划示例:IP主机名功能192.
168.
10.
114ch-10-114NameNode,DataNode192.
168.
10.
115ch-10-115DataNode192.
168.
10.
116ch-10-116DataNode2、主机名配置各节点的主机名需要正确配置,以192.
168.
10.
114节点示例如下,其他节点直接拷贝该配置即可.
127.
0.
0.
1localhostlocalhost.
localdomainlocalhost4localhost4.
localdomain4::1localhostlocalhost.
localdomainlocalhost6localhost6.
localdomain6192.
168.
10.
114ch-10-114192.
168.
10.
115ch-10-115192.
168.
10.
116ch-10-116注意:第一行如果配置成如下形式是错误的,安装完成后会出现Hadoop的Datanode无法连接Namenode的情况.
127.
0.
0.
1ch-10-114localhostlocalhost.
localdomainlocalhost4localhost4.
localdomain4GBase8a管理员手册南大通用数据技术股份有限公司-51-如果没有为GBase8a配置DNS服务器,为保证GBase8a可以解析Hadoop的Namenode和Datanode的主机名,需要配置/etc/hosts文件,在其中加入如上Hadoop的Namenode和Datanode的IP地址和主机名映射.
如未配置/etc/hosts文件,执行加载HDFS服务器上文件时,会报类似"Couldn'tresolvehostname"字样的错误.
检查方法:1)通过jps查看,发现DataNode已经启动,但是检查DataNode上的日志,发现DataNode在不断尝试连接NameNode节点的9000端口(HDFS的RPC端口).
2)在NameNode节点执行netstat-an,看到如下信息:$netstat-an|grep9000tcp00127.
0.
0.
1:90000.
0.
0.
0:*LISTEN错误原因:TCP监听的IP是127.
0.
0.
1,导致只有本机能够连接到9000端口.
原因是NameNode的/etc/hosts文件配置错误.
解决办法:去掉第一行的红色字体(ch-10-114),或者将第一行内容后置均可.
192.
168.
10.
114ch-10-114192.
168.
10.
115ch-10-115192.
168.
10.
116ch-10-116127.
0.
0.
1localhostlocalhost.
localdomainlocalhost4localhost4.
localdomain4::1localhostlocalhost.
localdomainlocalhost6localhost6.
localdomain6重启HDFS,再次用netstat-an|grep9000查看,端口和IP正确.
$netstat-an|grep9000tcp00192.
168.
10.
114:90000.
0.
0.
0:*LISTEN3、目录规划GBase8a管理员手册-52-南大通用数据技术股份有限公司目录用途/home/gbase/bin放置Hadoop生态系统,包括Hadoop等/home/gbase/hdfs放置HDFS文件,包括tmp、name、data添加环境变量${HADOOP_HOME}$echo"exportHADOOP_HOME=/home/gbase/bin/Hadoop-2.
6.
0">>~/.
bashrc$.
~/.
bashrc注:下文中的${HADOOP_HOME}指/home/gbase/bin/Hadoop-2.
6.
04、准备Hadoop2.
6.
0把hadoop-2.
6.
0.
tar.
gz解压到各节点的/home/gbase/bin.
$tarxfzhadoop-2.
6.
0.
tar.
gz-C/home/gbase/bin5、配置hadoop-env.
sh文件路径:${HADOOP_HOME}/etc/hadoop/hadoop-env.
sh$cd${HADOOP_HOME}$vietc/hadoop/hadoop-env.
shNamenode和Datanode均按如下配置.
把exportJAVA_HOME=$JAVA_HOME修改为:exportJAVA_HOME=/usr/lib/jvm/jre-1.
6.
0-openjdk.
x86_64把exportHADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/etc/hadoop"}修改为:exportHADOOP_CONF_DIR=/home/gbase/bin/hadoop-2.
6.
0/etc/hadoop6、配置core-site.
xml文件文件路径:${HADOOP_HOME}/etc/hadoop/core-site.
xml$cd${HADOOP_HOME}$vietc/hadoop/core-site.
xmlNamenode和Datanode均按如下配置GBase8a管理员手册南大通用数据技术股份有限公司-53-fs.
default.
namehdfs://ch-10-114:9000hadoop.
tmp.
dirfile:/home/gbase/hdfs/tmp7、配置hdfs-site.
xml文件路径:${HADOOP_HOME}/etc/hadoop/hdfs-site.
xml$cd${HADOOP_HOME}$vietc/hadoop/hdfs-site.
xmlNamenode配置dfs.
replication2dfs.
name.
dirfile:/home/gbase/hdfs/namenamenodedirdfs.
permissionsfalseGBase8a管理员手册-54-南大通用数据技术股份有限公司DataNode配置dfs.
data.
dirfile:/home/gbase/hdfs/datadatanodedir8、配置Masters和Slaves文件路径:${HADOOP_HOME}/etc/hadoop/masters${HADOOP_HOME}/etc/hadoop/slaves只需要在NameNode节点配置即可.
$cd${HADOOP_HOME}$vietc/hadoop/masters${HADOOP_HOME}/etc/hadoop/masters文件内容ch-10-114$cd${HADOOP_HOME}$vietc/hadoop/slaves${HADOOP_HOME}/etc/hadoop/slaves文件内容ch-10-114ch-10-115ch-10-1169、格式化NameNodeNameNode的格式化需要在启动HDFS之前进行.
GBase8a管理员手册南大通用数据技术股份有限公司-55-$cexecrm-fr/home/gbase/hdfs/*$cd${HADOOP_HOME}$bin/hdfsnamenode-format10、启动HDFS$cd${HADOOP_HOME}$sbin/start-dfs.
sh启动完毕后,通过jps检查各节点的进程,如下即为正确启动了.
$cexecjpstest192.
168.
10.
114-31318SecondaryNameNode31133NameNode31554Jps192.
168.
10.
115-10835DataNode11000Jps192.
168.
10.
116-10145DataNode10317Jps11、停止HDFS$cd${HADOOP_HOME}$sbin/stop-dfs.
sh7.
4.
4SFTP服务器配置SFTP服务无需布署额外的软件包,开启sshd服务即可.
GBase8a管理员手册-56-南大通用数据技术股份有限公司1.
查看是否已启动sshd服务#servicesshdstatusopenssh-daemon(pid2243)isrunning.
.
.
2.
默认配置的目录访问.
使用默认配置时,sshd不限制用户的目录访问.
用户通过sftp登录后,可以在有访问权限的任何目录间跳转.
在这种情况下,以下加载语句的URL中的文件路径为系统的绝对路径:loaddatainfile'sftp://gbase:gbase@192.
168.
10.
114/opt/data/test.
tbl'intotabletest.
tdata_format3;3.
修改sshd默认配置.
当并发加载任务数较大时,会出现sftp文件加载失败的情况,此时可按以下方式修改sshd配置文件.
编辑/etc/ssh/sshd_config文件#vi/etc/ssh/sshd_config按以下加粗字体内容修改配置文件#MaxStartups的值表示为"start:rate:full",默认值为10:30:100,当未认证连接数达到start(10)时,新的连接尝试有"rate/100"(30%)的可能会被sshd拒绝,当未认证连接数达到full(100)时,所有新的连接尝试都会被拒绝.
#在最大并发加载任务数为N时MaxStartups的推荐值为(N+10):30:(N*2)#MaxStartups10:30:100MaxStartups20:30:100出于安全原因,希望对sftp登录用户的访问权限进行限制,只能让用户在自己的home目录下活动.
启用sshd目录锁定功能需要使用到chroot,openssh4.
8p1以后都支持chroot,可用以下命令检查当前系统的openssh版本.
#ssh-VOpenSSH_5.
3p1,OpenSSL1.
0.
0-fips29Mar2010编辑/etc/ssh/sshd_config文件#vi/etc/ssh/sshd_config按以下加粗字体内容修改配置文件GBase8a管理员手册南大通用数据技术股份有限公司-57-#overridedefaultofnosubsystems#修改默认子系统为internal-sftp#Subsystemsftp/usr/libexec/openssh/sftp-serverSubsystemsftpinternal-sftp#Exampleofoverridingsettingsonaper-userbasis#MatchUsersftp表示以下规则仅匹配于名称为sftp的用户,如果需要匹配多个用户名,多个用户名间用逗号分隔.
也可用MatchGroupsftp来匹配名称为sftp的组,同样如果需要匹配多个组,多个组名间用逗号分隔MatchUsersftp#X11Forwardingno#AllowTcpForwardingno#强制执行进程内sftpserver,忽略~/.
ssh/rc文件中的命令ForceCommandinternal-sftp#用chroot将用户的根目录指定到%h,%h代表用户的home目录,可选的参数还有%u,代表用户名ChrootDirectory%h注意:sftp目录的权限配置要点:1)由ChrootDirectory指定的目录开始一直向上到系统根目录为止的目录拥有者都只能是root2)由ChrootDirectory指定的目录开始一直向上到系统根目录为止都不可有群组写入的权限,即权限值不能高于7554.
配置完成后重启sshd服务#servicesshdrestart在已配置目录锁定的情况下,以下加载语句的URL中的文件路径为系统的相对路径,test.
tbl的绝对路径应为/home/gbase/opt/data/test.
tblloaddatainfile'sftp://gbase:gbase@192.
168.
10.
114/opt/data/test.
tbl'intotabletest.
tdata_format3;GBase8a管理员手册-58-南大通用数据技术股份有限公司8安全管理8.
1密码安全管理8.
1.
1密码强度控制用户可以配置密码复杂度和长度要求,在创建密码和修改密码时必须符合此强度要求.
密码复杂度受只读量password_format_option控制.
密码长度受只读变量password_min_length控制.
两个变量的值均为0时表示关闭密码强度控制.
密码强度控制对以下SQL类型生效:createuser[user]identifiedby'pass';alteruser[user]identifiedby'pass';setpassword=password('pass');setpasswordfor[user]=password('pass');密码强度控制参数为只读变量,定义如下:变量名范围含义password_format_option0-31表示密码字符组合要求,默认值为0,表示无复杂度要求.
组合中可包含数字(1)、小写字符(2)、大写字符(4)、其它字符(8)中的1种或多种.
1:表示必须包含数字.
2:表示必须包含小写字母.
4:表示必须包含大写字母.
8:表示必须包含其它字符.
16:表示不能和用户名相同.
要限定组合时配置为上述值的和,可以任意组合.
GBase8a管理员手册南大通用数据技术股份有限公司-59-例如:限定包含所有种类字符为(1+2+4+8=15).
对非英文字符,按其对应的ASII码范围分类.
password_min_length0-65535表示密码的最短长度,默认值为0,表示不限制长度.
8.
1.
2密码重用控制限制用户使用指定间隔次数内的历史密码.
口令间隔控制参数为只读变量,定义如下:变量名范围含义password_reuse_max0-100默认值为0,表示不控制.
正数值N表示允许的口令间隔,间隔大于N才允许设置.
8.
1.
3密码有效期控制控制密码的有效期,达到有效期后用户密码自动过期.
用户密码过期后,允许用户登录,在执行SQL时提示用户修改密码.
此时允许用户修改自己的密码.
必须修改密码后才允许执行其它SQL.
可选的密码策略:1.
使用默认密码过期时间默认密码过期时间为只读变量,定义如下:变量名范围含义password_life_time0-65535默认值为0,表示默认禁用密码过期.
正数值N表示密码过期天数,密码必须在N天后修改.
使用默认密码过期策略范例:CREATEUSERjeffreyPASSWORDEXPIREDEFAULT;//创建用户同时符合默认密码过期时间ALTERUSERjeffreyPASSWORDEXPIREDEFAULT;//修改用户符合默认密码过期时间GBase8a管理员手册-60-南大通用数据技术股份有限公司2.
禁用密码过期策略:此时密码将永不过期,范例:CREATEUSERjeffreyPASSWORDEXPIRENEVER;ALTERUSERjeffreyPASSWORDEXPIRENEVER;3.
指定密码过期时间间隔:设置密码过期的时间间隔为N天.
范例:CREATEUSERjeffreyPASSWORDEXPIREINTERVAL180DAY;ALTERUSERjeffreyPASSWORDEXPIREINTERVAL180DAY;4.
使密码立即过期:使密码立即过期,范例:CREATEUSERjeffreyPASSWORDEXPIRE;ALTERUSERjeffreyPASSWORDEXPIRE;用户密码过期配置下发到各coordinator节点,语法定义如下:CREATE/ALTERUSERuser[auth_option][expiration_option|lock_option|host_option].
.
.
expiration_option:{PASSWORDEXPIRE|PASSWORDEXPIREDEFAULT|PASSWORDEXPIRENEVER|PASSWORDEXPIREINTERVALNDAY}1、对不存在用户,使用createuser时可以同时指定密码过期选项.
2、对已存在用户,使用alteruser更改用户时可指定密码过期选项.
用户密码过期时执行SQL会提示用户必须先修改密码,例如:gbase>usetest;ERROR1840(HY000):YoumustresetyourpasswordusingALTERUSERstatementbeforeexecutingthisstatement.
GBase8a管理员手册南大通用数据技术股份有限公司-61-密码过期设置会立即生效,如果指定了多个策略选项,最后一个生效.
8.
2用户安全管理8.
2.
1登录重试锁定限制用户的登录重试次数,当密码错误达到次数时锁定账户.
处于锁定状态的用户在登录时将提示用户账户已锁定,并拒绝登录.
用户登录重试次数参数为只读变量,定义如下:变量名范围含义login_attempt_max0-65535默认值为0,表示禁用密码重试,不记录登录信息.
正数值N表示允许密码输错的次数,达到次数则锁定用户账户.
8.
2.
2账户锁定和解锁用户账户锁定后将不允许用户登录.
账户不会自动解锁,需由拥有CREATEUSER权限的管理员账户锁定和解锁用户.
锁定只影响用户登录.
用户账户锁定状态下发到各coordinator节点,语法定义如下:CREATE/ALTERUSERuser[auth_option][expiration_option|lock_option|host_option].
.
.
lock_option:{ACCOUNTLOCK|ACCOUNTUNLOCK}功能说明:1、对不存在用户,使用createuser时可以同时设置为锁定状态或非锁定状态.
GBase8a管理员手册-62-南大通用数据技术股份有限公司2、对已存在用户,使用alteruser更改用户为锁定或非锁定状态.
已锁定的账户登录时提示用户锁定,拒绝登录,例如:gbase-uuser1ERROR1830(HY000):Accessdeniedforuser'user1'@'%'.
Accountislocked.
如果指定了多个策略选项,最后一个生效.
gbase用户不受锁定控制,可以锁定解锁,锁定时依然允许登录.
8.
2.
3账户限定host列表语法:CREATE/ALTERUSERuser[auth_option][expiration_option|lock_option|host_option].
.
.
host_option:{hosts'host_list'}默认host_list为空,此时登录无host限定.
host_list的值可以为ip或主机名,允许包含多个,使用空格""分割,使用"%"和"_"做通配符(通配符用法同原host功能).
登录的ip或主机名在列表中才允许用户登录.
8.
3审计策略8.
3.
1创建审计策略创建审计策略的语法规则如下所示:CREATEAUDITPOLICY[(=[,=])];其中audit_policy_name为审计策略的名称,不区分大小写,存储时小写保存,与资源池名类似,可包括大小写字母、数字和下划线,不可以包含特殊GBase8a管理员手册南大通用数据技术股份有限公司-63-符号,数字不可以作为第一个字母;audit_policy_item为审计策略项目,审计策略项目名称不区分大小写,目前支持的审计策略项目包括:项目名称取值&含义EnableY:启用,默认值N:禁用Hosts"":不限制,默认值:严格匹配host,支持空格""分隔的host列表,host可使用"%"和"_"做通配符User"":不限制,默认值:严格匹配user,区分大小写Db"":不限制,默认值:严格匹配dbObj_type"":不限制,默认值TABLE(VIEW):Object为表(视图)PROCEDURE:Object为存储过程FUNCTION:Object为函数Object"":不限制,默认值:匹配Obj_tpe指定的objectSql_commands"":不限制,默认值INSERT,DELETE,UPDATE,LOAD,CREATE_USER,CREATE_DB,CREATE_TABLE,CREATE_VIEW,CREATE_INDEX,CREATE_PROCEDURE,CREATE_FUNCTION,RENAME_USER,ALTER_DB,ALTER_TABLE,ALTER_PROCEDURE,ALTER_FUNCTION,ALTER_EVENT,DROP_USER,DROP_DB,DROP_TABLE,DROP_VIEW,DROP_INDEX,DROP_PROCEDURE,DROP_FUNCTION,DROP_EVENT,TRUNCATE,GRANT,REVOKE,SELECT,OTHERS:其中的一种或多种类型,多个类型间以逗号','连接,且不添加空格Long_query_time:最小查询秒数,可带6位小数,精确到微秒,GBase8a管理员手册-64-南大通用数据技术股份有限公司默认值0,取值范围为0~31536000Status"":不限制,默认值SUCCESS:执行成功FAILED:执行失败8.
3.
2修改审计策略修改审计策略的语法规则如下:ALTERAUDITPOLICYSET[(]=[,=][)];其中:audit_policy_name为审计策略的名称,不区分大小写;audit_policy_item为审计策略项目,取值内容与创建审计策略中描述相同.
8.
3.
3删除审计策略删除审计策略语法规则如下:DROPAUDITPOLICY;8.
4查看安全信息从gbase.
user_check系统表中可以查询到用户安全信息.
user_check表结构如下:列名类型Null默认值含义hostchar(60)No无主机名,主键userchar(16)No无用户名,主键attemptsmallint(5)unsignedNo0密码重试次数GBase8a管理员手册南大通用数据技术股份有限公司-65-last_attemptsmallint(5)unsignedNo0最近成功登录的重试次数lockedenum('N','Y')NoN用户是否锁定password_expiredenum('N','Y')NoN密码是否过期password_last_changeddatetimeNo无最近密码修改时间password_life_timesmallint(5)unsignedYesNULL密码有效期,单位天password_historyvarchar(5000)No""密码历史列表,密文host_listvarchar(5000)No""允许登录的host列表login_timedatetimeYesNULL本次登录时间login_hostchar(60)No""本次登录主机last_login_timedatetimeYesNULL最近登录时间last_login_hostchar(60)No""最近登录主机login_countbigint(8)No0用户登录次数查询用户的锁定和密码过期状态范例:gbase>selectLocked,password_expiredfromgbase.
user_checkwhereuser='user1';|Locked|password_expired||N|N|8.
5登录信息显示登录信息显示受只读变量show_login_status控制:变量名范围含义show_login_status0-1默认值为0,表示关闭.
1表示开启.
当开启登录信息显示时,在用户登录时可以显示以下信息,范例如下:GBase8a管理员手册-66-南大通用数据技术股份有限公司Logininfo:USER:rootLOGIN_TIME:2017-10-2509:33:00LOGIN_HOST:localhostLAST_LOGIN_TIME:2017-10-2415:22:04LAST_LOGIN_HOST:localhostLAST_ATTEMPT:0VALID_PASSWORD_EXPIRE:1新增语法showloginstatus,用于显示用户自身的登录信息,范例如下:gbase>showloginstatus\G1.
rowUSER:user1LOGIN_TIME:2017-10-2509:38:50LOGIN_HOST:localhostLAST_LOGIN_TIME:0000-00-0000:00:00LAST_LOGIN_HOST:LAST_ATTEMPT:0VALID_PASSWORD_EXPIRE:18.
6安全管理的权限CREATEUSER语法执行受CREATEUSER权限控制ALTERUSER语法执行除修改自己密码外受CREATEUSER权限控制,修改自己密码不受权限控制.
查看安全信息受系统表gbase.
user_check的SELECT权限控制.
8.
7登陆管理一致性在集群范围内进行密码安全管理需要考虑到一致性的问题,面临着如下场景集群中包括ABC三个coordinator1在A点进行登陆,达到密码锁定次数,A点将进行锁定,同时B点C点GBase8a管理员手册南大通用数据技术股份有限公司-67-也应该进行锁定.
2在A点进行登陆,密码重试出错,那么B点C点即使没有进行密码重试,也需要进行重试次数增加.
3在A点进行登陆,密码验证成功,密码重试次数需要清0,如果B点,C点密码重试次数不为0,也需要进行清0.
由于在场景3下,每进行一次登陆,如果都需要在所有节点去进行密码重试次数清0操作,那么会很影响效率.
并且清0操作此时会记录event,如果存在节点离线,那event会大幅度增加,会给系统带来很大冲击.
因此这里增加一个参数进行控制,默认关闭,在明白上述影响的情况下,可以手动进行开启.
变量名范围含义gcluster_user_check_consistent0-1为0表示关闭,为1表示开启,默认关闭GBase8a管理员手册-68-南大通用数据技术股份有限公司9密钥证书管理密钥证书的管理需要管理员用户通过SQL方式处理,针对密文密钥用户需要牢记口令,系统不记录用户口令;9.
1证书存储位置证书存放在config目录;gnode:$GBASE_BASE/config/encryption.
crt9.
2语法描述9.
3创建证书CREATEENCRYPTIONCERTIFICATEIDENTIFIEDBY'password'[CONTENT'密钥内容']说明:1)该语法可创建明文、密文密钥证书,如果password为空,则创建明文密钥证书,不需要口令;如果password非空,则创建密文密钥证书,需要口令;2)CONTENT是密钥内容关键字,可选项,如果不指定该关键字,则创建时由系统自动生成密钥;如果指定,则需要用户手动输入密钥,内容不做限制,最大支持128字节;【注】GBase8a管理员手册南大通用数据技术股份有限公司-69-1)明文密钥创建完成后,即可对加密列做dml操作;密文密钥还需要open操作,方可对加密列做dml操作;2)密钥证书只能创建一次,不能重复创建;3)密文密钥,须用户牢记口令,系统不记录口令;9.
3.
1打开/关闭证书根据口令打开密文密钥证书ALTERENCRYPTIONCERTIFICATEOPENIDENTIFIEDBY'password'关闭密钥证书ALTERENCRYPTIONCERTIFICATECLOSE;【注】关闭密钥后,所有对加密列的dml操作将会失效;9.
3.
2显示证书状态SELECT*FROMINFORMATION_SCHEMA.
ALL_ENCRYPTION_CERTIFICATE_STATUS;说明:显示所有节点的密钥证书状态gbase>SELECT*FROMINFORMATION_SCHEMA.
ALL_ENCRYPTION_CERTIFICATE_STATUS;|NODE_NAME|IS_CREATE|KEY_TYPE|OPEN_STATUS||coordinator1|NO|0|OFF||node1|NO|0|OFF||node1|NO|0|OFF|3rowsinset9.
3.
3修改证书口令GBase8a管理员手册-70-南大通用数据技术股份有限公司ALTERENCRYPTIONCERTIFICATEIDENTIFIEDBY'old_pwd'TO'new_pwd'说明:修改密文密钥口令,old_pwd、new_pwd均非空;9.
3.
4明文、密文密钥转换ALTERENCRYPTIONCERTIFICATEIDENTIFIEDBY''TO'password'说明:明文密钥转换为密文密钥,password不能为空;ALTERENCRYPTIONCERTIFICATEIDENTIFIEDBY'password'TO''说明:密文密钥转换为明文密钥,password不能为空;GBase8a管理员手册南大通用数据技术股份有限公司-71-10元数据管理10.
1.
1限制表实例数量参数名:_gbase_express_table_limit数值范围:最小值16,最大值1024*1024,默认值16*1024说明:当引擎层打开表数量达到参数设定的值时,不会立即触发清理动作.
而是由后台线程每5秒检测一次,如果达到上限才会触发清理动作.
10.
1.
2限制表实例元数据总大小参数名:_gbase_express_table_metadata_limit数值范围:gnode下默认值为temp堆大小一半,gcluster下默认值为1GB,最小值最大值不限,配置文件中可使用K/M/G方式设置说明:当引擎层打开表实例的元数据大小之和达到参数设定的值时,不会立即触发清理动作.
而是由后台线程每5秒检测一次,如果达到上限才会触发清理动作.
10.
1.
3超出限制后对m_tables清理比例参数名:_gbase_express_table_clear_rate数值范围:最大值100(表示100%),最小值1(表示1%),默认值10(表示10%)说明:1)表数量淘汰机制:当触发清理动作时每次清理多少比例的表对象实例.
此比例是当前内存中表实例总数的比例.
2)元数据大小淘汰机制:每次清理多少比例的元数据大小.
次比例是当前GBase8a管理员手册-72-南大通用数据技术股份有限公司内存中所有表实例的元数据大小之和的比例.
10.
1.
4状态监测有两个状态信息可以查询:express_cached_tables表示当前内存中有多少个表实例.
express_cached_metadata表示当前内存中所有表实例的元数据大小.
gbase>showvariableslike'%express_table%';|Variable_name|Value||_gbase_express_table_clear_rate|10||_gbase_express_table_limit|16384||_gbase_express_table_metadata_limit|1073741824|3rowsinset(Elapsed:00:00:00.
01)gbase>showstatuslike'%express_cache%';|Variable_name|Value||express_cached_metadata|5140||express_cached_tables|1|2rowsinset(Elapsed:00:00:00.
00)-2-
- 南大通用数据技术有限公司相关文档
- 《Linux操作系统》课程教学大纲
- 添加在PGW平台上的另外的以太网接口
- 打印服务器hosts文件修复
- 二代U盾快速使用指南
- 晋商银行网上银行常见问题解答
- 希赛网(www.educity.cn),专注软考、PMP、通信考试
Sharktech：无限流量服务器丹佛，洛杉矶，荷兰$49/月起，1Gbps带宽哦！
鲨鱼机房(Sharktech)我们也叫它SK机房，是一家成立于2003年的老牌国外主机商，提供的产品包括独立服务器租用、VPS主机等，自营机房在美国洛杉矶、丹佛、芝加哥和荷兰阿姆斯特丹等，主打高防产品，独立服务器免费提供60Gbps/48Mpps攻击防御。机房提供1-10Gbps带宽不限流量服务器，最低丹佛/荷兰机房每月49美元起，洛杉矶机房最低59美元/月起。下面列出部分促销机型的配置信息。机房...
hosteons：10Gbps带宽，免费Windows授权，自定义上传ISO，VPS低至$21/年，可选洛杉矶达拉斯纽约
hosteons当前对美国洛杉矶、达拉斯、纽约数据中心的VPS进行特别的促销活动：（1）免费从1Gbps升级到10Gbps带宽，（2）Free Blesta License授权，（3）Windows server 2019授权，要求从2G内存起，而且是年付。 官方网站：https://www.hosteons.com 使用优惠码：zhujicepingEDDB10G，可以获得： 免费升级10...
DMIT：香港国际线路vps,1.5GB内存/20GB SSD空间/4TB流量/1Gbps/KVM,$9.81/月
DMIT怎么样？DMIT是一家美国主机商，主要提供KVM VPS、独立服务器等，主要提供香港CN2、洛杉矶CN2 GIA等KVM VPS，稳定性、网络都很不错。支持中文客服，可Paypal、支付宝付款。2020年推出的香港国际线路的KVM VPS，大带宽，适合中转落地使用。现在有永久9折优惠码：July-4-Lite-10OFF，季付及以上还有折扣，非 中国路由优化;AS4134，AS4837 均...
hosts文件修复为你推荐
-
租服务器开个小型公司，租个服务器需要多少钱？vps主机vps主机好吗？是不是垃圾？免费网站域名申请怎么免费上传我的网站呀和免费申请域名网站空间商哪有好一点的网站空间商？欢迎友友们给我推荐下，asp网站空间什么是ASP空间?什么是虚拟主机虚拟主机是什么?大连虚拟主机上海未星网络科技有限公司是一家什么样的公司？备案域名购买购买已备案域名好使吗？动态域名解析怎么做动态域名解析啊，希望高手指点域名中介网络域名可以转让吗