文章分类 - HDFS
摘要:Kerberos协议: Kerberos协议主要用于计算机网络的身份鉴别(Authentication), 其特点是用户只需输入一次身份验证信息就可以凭借此验证获得的票据(ticket-granting ticket)访问多个服务,即SSO(Single Sign On)。由于在每个Client和S
阅读全文
摘要:原理 配置 配置DNS服务 配置NTP 创建MIT KDC 为HDFS等组件生成keytab 配置HDFS 配置DNS服务 配置NTP 创建MIT KDC 为HDFS等组件生成keytab 配置HDFS 本文尝试记录HDFS各服务配置使用kerberos的过程,配置的东西比较多,一定会有疏漏。 我的
阅读全文
摘要:2014.11.04 本文主要记录 CDH Hadoop 集群上配置 HDFS 集成 Kerberos 的过程,包括 Kerberos 的安装和 Hadoop 相关配置修改说明。 注意: 下面第一、二部分内容,摘抄自《Hadoop的kerberos的实践部署》,主要是为了对 Hadoop 的认证机制
阅读全文
摘要:前面博客里面提到,运行一次Hadoop的时候出现Java heap error。字面意思分配堆的时候出现错误,我们知道应用程序的动态内存的分配均在堆里面。这里提示堆错误,那必然是内存不够用了。那么这个namenode内存的大小该怎么取值呢? namenode管理着集群里面所有文件的信息。简单根据文件
阅读全文
摘要:最近需要将HDFS集群进行缩减,datanode由8台减到3台。google了一下,觉decommission方式最稳妥,于是使用该方法进行操作。 前提条件: namenode的hdfs-site.xml 里有如下配置项 [html] view plain copy <property> <name
阅读全文
摘要:HDFS是一个分布式文件系统,在HDFS上写文件的过程与我们平时使用的单机文件系统非常不同,从宏观上来看,在HDFS文件系统上创建并写一个文件,流程如下图(来自《Hadoop:The Definitive Guide》一书)所示:具体过程描述如下: 下面代码使用Hadoop的API来实现向HDFS的
阅读全文
摘要:详解HDFS Short Circuit Local Reads Hadoop的一大基本原则是移动计算的开销要比移动数据的开销小。因此,Hadoop通常是尽量移动计算到拥有数据的节点上。这就使得Hadoop中读取数据的客户端DFSClient和提供数据的Datanode经常是在一个节点上,也就造成了
阅读全文