hadoop集群委任和解除节点
摘要：Hadoop集群经常需要添加节点或者从集群中移出故障节点。 委任新datanode 向集群添加datanode，需要通过hdfs的hdfs-site.xml的配置参数dfs.hosts来实现，然后启动datanode进程。 将源集群的配置文件拷贝至新节点待用。 在配置文件路径/opt/module/
阅读全文
posted @ 2020-03-08 20:41
随笔分类 - hadoop生态圈
hadoop参数
摘要：core-site.xml 重要参数 hadoop.tmp.dir=/tmp/hadoop-${user.name} Hadoop的临时目录，其它目录会基于此路径。本地目录。 只可以设置一个值；建议设置到一个足够空间的地方，而不是默认的/tmp下 服务端参数，修改需重启 hadoop.securit
阅读全文
posted @ 2020-03-08 14:09
HDFS启动及读写过程（读书笔记）
摘要：HDFS启动过程 整个启动过程分为两个部分： 1、namenode启动 （1）第一次启动namenode格式化后，创建fsimage和edits（在namenode所在结点的hadooop/data目录下）文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。 （2）客户端对元数据进行增删改的
阅读全文
posted @ 2020-03-07 21:14
hadoop QJM高可用集群
摘要：HDFS的高可用性 联邦hdfs 由于namenode在内存中维护系统中的文件和数据块的映射信息，所以对于一个海量文件的集群来说，内存将成为系统横向扩展瓶颈。Hadoop在2.x的版本引入了联邦HDFS（HDFS Federation），通过在集群中添加namenode实现。 Federation的
阅读全文
posted @ 2020-03-07 17:37
