hive集成kerberos
1、票据的生成
kdc服务器操作,生成用于hive身份验证的principal
1.1、创建principal
# kadmin.local -q “addprinc -randkey hive/yjt”
1.2、创建秘钥文件
# kadmin.local -q “xst -norankey -k /etc/hive.keytab hive/yjt”
拷贝秘钥文件到集群,root操作或者有root权限的普通用户操作
# scp /etc/hive.keytab 192.168.0.230:/data1/hadoop/hive/conf
连接到集群,修改文件权限
# chown hduser:hadoop /data1/hadoop/hive/conf/hive.keytab
# chomd 400 /data1/hadoop/hive/conf/hive.keytab
1.3、修改配置文件
Hive-site.xml配置文件添加如下信息:
<property>
<name>hive.server2.authentication</name>
<value>KERBEROS</value>
</property>
<property>
<name>hive.server2.authentication.kerberos.principal</name>
<value>hive/_HOST@HADOOP.COM</value>
</property>
<property>
<name>hive.server2.authentication.kerberos.keytab</name>
<value>/data1/hadoop/hive/conf/hive.keytab</value>
</property>
<property>
<name>hive.metastore.sasl.enabled</name>
<value>true</value>
</property>
<property>
<name>hive.metastore.kerberos.keytab.file</name>
<value>/data1/hadoop/hive/conf/hive.keytab</value>
</property>
<property>
<name>hive.metastore.kerberos.principal</name>
<value>hive/_HOST@HADOOP.COM</value>
</property>
2、集群内部测试
2.1、获取票据
# kinit -kt /data1/hadoop/hive/conf/hive.keytab hive/yjt
获取到票据以后,使用klist查看获取的票据是否正确。
2.2、beeline测试
当前测试的hive版本是2.1.0,这个版本集成的hadoop版本是2.5.x,所以需要更换lib库下的hadoop版本或者下载一个高版本
这里拷贝hbase/lib库下的hadoop版本到hive,拷贝之前先删除hve/lib库下的有关hadoop版本的jar包,如下:
# cp /data1/hadoop/hbase/lib/hadoop-*.jar /data1/hadoop/hive/lib
使用beeline连接
# beeline
beeline> !connect jdbc:hive2://yjt:10000/;principal=hive/yjt@HADOOP.HOME -n hduser
0: jdbc:hive2://yjt:10000/> show tables;
+------------+--+
| tab_name |
+------------+--+
| user_info |
+------------+--+
1 row selected (2.363 seconds)
0: jdbc:hive2://yjt:10000/>
2.2、hive shell测试
(1)、测试mr引擎
默认就是mr引擎,所以不用修改说明配置
hive> select count(*) from user_info;
如果成功,说明配置ok
(2) 、测试tez引擎
切换引擎:
hive> set hive.execution.engine=tez;
3、客户端测试
3.1、安装hive
这里我们直接从集群内部拷一份hive配置到客户端
3.2、获取认证用户
# kinit -kt /data1/hadoop/hive/conf/hive.keytab hive/yjt
3.3、测试beeline
#beeline
beeline> !connect jdbc:hive2://yjt:10000/;principal=hive/yjt@HADOOP.HOME -n hduser
0: jdbc:hive2://yjt:10000/> show tables;
3.4、测试hive shell
(1)、mr引擎
select count(*) from user_info;
(2)、tez引擎
从集群拷贝tez软件目录到客户端
#scp -r /data1/hadoop/tez 192.168.0.9:/data1/hadoop
hive> set hive.execution.engine=tez;
hive> select count(*) from user_info;
注:上述在客户端的测试全部都是使用hduser用户,这个用户与集群内部启动集群进程的用户是一样的,接下来在客户端使用其他的用户测试。
3.5 测试其他用户
客户端创建yujt用户
# useradd yjt
# echo ‘123456’ |passwd --stdin ‘yujt’
修改hive.keytab权限(在一开始设置的权限为400)
# chmod 404 /data1/hadoop/hive/conf/hive.keytab
#su - yujt
获取认证用户
$ kinit -kt /data1/hadoop/hive/conf/hive.keytab hive/yjt
$hive shell
hive> select count(*) from user_info;
如果配置正确,上述任务执行状态ok
切换到tez引擎