文章分类 - HDFS
摘要:namenode在管理元数据层面,除了去维护内存中的目录树以外,还需要维护磁盘上的元数据; 但是: 我们在做大数据的时候,都知道在服务器的处理速度中,它有一个金字塔模型: 最慢的处理速度就是本地磁盘和二级存储; 但是我们生产环境中namenode可以说是整个集群的中心,我们会在hadoop的基础上提
阅读全文
摘要:代码流程: NameNode.main() // 入口函数 |——createNameNode(); // 通过new NameNode()进行实例化 |——initialize(); // 方法进行初始化操作 |——startHttpServer(); // 启动HttpServer |——loa
阅读全文
摘要:首先Namenode启动的总体流程大概是这样的: NameNode.main() // 入口函数 |——createNameNode(); // 通过new NameNode()进行实例化 |——initialize(); // 方法进行初始化操作 |——startHttpServer(); //
阅读全文
摘要:阅读源码第一步是要编译源码; 源码版本:hadoop2.6+ ~ hadoop2.7 这个范围均可,改动不是特别大 编译源码教程连接:https://www.jianshu.com/p/a66ab0235fb9 https://www.cnblogs.com/hequn/articles/48396
阅读全文
摘要:在hadoop-env.sh中添加: # 在配置namenode和datanode时都会有用到JMX_OPTS的代码,是为了减少重复提取出的公共代码 export JMX_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxrem
阅读全文