NWNU-Sun | 技术沉思录

代码是诗,bug是谜

   ::  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理
  77 随笔 :: 49 文章 :: 6 评论 :: 40763 阅读

问题:

​ hive集群配置完成,web监控界面的8808和8042和10002端口不需用户验证即可访问,对生产环境是不容许的,需要加上安全机制。

方案:

1. 修改hadop配置

1.修改core-site.xml,增加如下内容,配置完成后拷贝到其他节点上。

<property>
  <name>hadoop.http.filter.initializers</name>
  <value>org.apache.hadoop.security.AuthenticationFilterInitializer</value>
</property>
 
<!-- 配置Simple类型的安全机制 -->
<property>
  <name>hadoop.http.authentication.type</name>
  <value>simple</value>
</property>
 
<!-- 响应时间 3600s -->
<property>
  <name>hadoop.http.authentication.token.validity</name>
  <value>3600</value>
</property>
 
<!-- webUI页面访问密码存放位置 -->
<property>
  <name>hadoop.http.authentication.signature.secret.file</name>
  <value>/home/hadoop/hadoop-http-auth-signature-secret</value>
</property>
 
<!--此处设置为空值-->
<property>
  <name>hadoop.http.authentication.cookie.domain</name>
  <value></value>
</property>
 
<!--在开启simple安全认证模式下,不允许匿名用户访问-->
<property>
  <name>hadoop.http.authentication.simple.anonymous.allowed</name>
  <value>false</value>
</property>

2、在上述配置的目录/home/hadoop/下生成文件hadoop-http-auth-signature-secret,拷贝到其他节点上。

// 此处输入自定义的webUI访问密码 ,此处设置密码为'hadoop'
echo "hadoop" > hadoop-http-auth-signature-secret

3、重启集群环境,通过正常方式(http://ip:50070/)访问web页面会报错。

HTTP ERROR 401
Problem accessing /dfshealth.jsp. Reason:

org.apache.hadoop.security.authentication.client.AuthenticationException: Anonymous requests are disallowed

4、使用正常登录方式访问webUI出现上述错误,证明Simple安全机制已启动,因此需要改变访问方式:

// 其中“hadoop“为刚才写入hadoop-http-auth-signature-secret文件的自定义密码

http://ip:50070/?user.name=hadoop

再次登录发现,可以正常访问

遗留

*此处有一个bug,就是第一次登陆的时候需输入自定义密码,后面二次登陆的时候,输入密码需要不同于第一次输入的密码方可登陆*

2. 修改hive配置

(https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties#ConfigurationProperties-HiveServer2WebUI)

HiveServer2 Web UI 将侦听的端口。设置为 0 或负数以禁用 HiveServer2 Web UI 功能。
posted on   匿名者nwnu  阅读(927)  评论(0编辑  收藏  举报
编辑推荐:
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
阅读排行:
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· 阿里巴巴 QwQ-32B真的超越了 DeepSeek R-1吗?
· 【译】Visual Studio 中新的强大生产力特性
· 【设计模式】告别冗长if-else语句:使用策略模式优化代码结构
· AI与.NET技术实操系列(六):基于图像分类模型对图像进行分类
点击右上角即可分享
微信分享提示