NWNU-Sun | 技术沉思录

代码是诗,bug是谜

   ::  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

Hadoop集群的webUI监控界面设置Simple安全机制

问题:

​ hive集群配置完成,web监控界面的8808和8042和10002端口不需用户验证即可访问,对生产环境是不容许的,需要加上安全机制。

方案:

1. 修改hadop配置

1.修改core-site.xml,增加如下内容,配置完成后拷贝到其他节点上。

<property>
  <name>hadoop.http.filter.initializers</name>
  <value>org.apache.hadoop.security.AuthenticationFilterInitializer</value>
</property>
 
<!-- 配置Simple类型的安全机制 -->
<property>
  <name>hadoop.http.authentication.type</name>
  <value>simple</value>
</property>
 
<!-- 响应时间 3600s -->
<property>
  <name>hadoop.http.authentication.token.validity</name>
  <value>3600</value>
</property>
 
<!-- webUI页面访问密码存放位置 -->
<property>
  <name>hadoop.http.authentication.signature.secret.file</name>
  <value>/home/hadoop/hadoop-http-auth-signature-secret</value>
</property>
 
<!--此处设置为空值-->
<property>
  <name>hadoop.http.authentication.cookie.domain</name>
  <value></value>
</property>
 
<!--在开启simple安全认证模式下,不允许匿名用户访问-->
<property>
  <name>hadoop.http.authentication.simple.anonymous.allowed</name>
  <value>false</value>
</property>

2、在上述配置的目录/home/hadoop/下生成文件hadoop-http-auth-signature-secret,拷贝到其他节点上。

// 此处输入自定义的webUI访问密码 ,此处设置密码为'hadoop'
echo "hadoop" > hadoop-http-auth-signature-secret

3、重启集群环境,通过正常方式(http://ip:50070/)访问web页面会报错。

HTTP ERROR 401
Problem accessing /dfshealth.jsp. Reason:

org.apache.hadoop.security.authentication.client.AuthenticationException: Anonymous requests are disallowed

4、使用正常登录方式访问webUI出现上述错误,证明Simple安全机制已启动,因此需要改变访问方式:

// 其中“hadoop“为刚才写入hadoop-http-auth-signature-secret文件的自定义密码

http://ip:50070/?user.name=hadoop

再次登录发现,可以正常访问

遗留

*此处有一个bug,就是第一次登陆的时候需输入自定义密码,后面二次登陆的时候,输入密码需要不同于第一次输入的密码方可登陆*

2. 修改hive配置

(https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties#ConfigurationProperties-HiveServer2WebUI)

HiveServer2 Web UI 将侦听的端口。设置为 0 或负数以禁用 HiveServer2 Web UI 功能。
posted on 2022-09-26 14:36  匿名者nwnu  阅读(1124)  评论(0)    收藏  举报