hopeless-dream

摘要： HDFS启动过程 整个启动过程分为两个部分： 1、namenode启动 （1）第一次启动namenode格式化后，创建fsimage和edits（在namenode所在结点的hadooop/data目录下）文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。 （2）客户端对元数据进行增删改的 阅读全文

摘要： HDFS的高可用性 联邦hdfs 由于namenode在内存中维护系统中的文件和数据块的映射信息，所以对于一个海量文件的集群来说，内存将成为系统横向扩展瓶颈。Hadoop在2.x的版本引入了联邦HDFS（HDFS Federation），通过在集群中添加namenode实现。 Federation的 阅读全文

摘要： HDFS的高可用性 联邦hdfs 由于namenode在内存中维护系统中的文件和数据块的映射信息，所以对于一个海量文件的集群来说，内存将成为系统横向扩展瓶颈。Hadoop在2.x的版本引入了联邦HDFS（HDFS Federation），通过在集群中添加namenode实现。 Federation的 阅读全文

摘要： 安装ansible # yum install -y epel-release # yum install -y ansible # vim /etc/ansible/hosts [zk] zk0[1:3]# ansible zk -m copy -a 'src=/etc/hosts dest=/e 阅读全文

摘要： 一、producer producer 的首要功能就是向某个 topic 的某个分区发送一条消息，所以它首先需要借助分区器（partitioner）确认到底要向 topic 的哪个分区写入消息 。 如果消息指定了key，那么partitioner会根据key的哈希值选择目标分区；否则，会使用轮询的方 阅读全文

摘要： 概述 metaspace，顾名思义，元数据空间，专门用来存元数据的，它是jdk8里特有的数据结构用来替代perm，这块空间很有自己的特点，前段时间公司这块的问题太多了，主要是因为升级了中间件所致，看到大家讨论来讨论去，看得出很多人对metaspace还是模棱两可，不是很了解它，因此我觉得有必要写篇文 阅读全文

摘要： 1、由于之前已经搭建好完全分布式集群，所以直接改配置文件（如果用的新机器，需要配置免密） # vim core-site.xml <configuration> <!-- 指定 HDFS 中 NameNode（master）节点 的地址 --> <property> <name>fs.default 阅读全文