文章分类 -  HDFS

摘要:namenode在管理元数据层面,除了去维护内存中的目录树以外,还需要维护磁盘上的元数据; 但是: 我们在做大数据的时候,都知道在服务器的处理速度中,它有一个金字塔模型: 最慢的处理速度就是本地磁盘和二级存储; 但是我们生产环境中namenode可以说是整个集群的中心,我们会在hadoop的基础上提 阅读全文
posted @ 2021-04-16 15:03 niutao 阅读(548) 评论(0) 推荐(0) 编辑
摘要:代码流程: NameNode.main() // 入口函数 |——createNameNode(); // 通过new NameNode()进行实例化 |——initialize(); // 方法进行初始化操作 |——startHttpServer(); // 启动HttpServer |——loa 阅读全文
posted @ 2020-04-02 22:00 niutao 阅读(1117) 评论(0) 推荐(0) 编辑
摘要:首先Namenode启动的总体流程大概是这样的: NameNode.main() // 入口函数 |——createNameNode(); // 通过new NameNode()进行实例化 |——initialize(); // 方法进行初始化操作 |——startHttpServer(); // 阅读全文
posted @ 2020-03-31 23:58 niutao 阅读(871) 评论(0) 推荐(0) 编辑
摘要:阅读源码第一步是要编译源码; 源码版本:hadoop2.6+ ~ hadoop2.7 这个范围均可,改动不是特别大 编译源码教程连接:https://www.jianshu.com/p/a66ab0235fb9 https://www.cnblogs.com/hequn/articles/48396 阅读全文
posted @ 2020-03-31 23:34 niutao 阅读(2043) 评论(0) 推荐(0) 编辑
摘要:在hadoop-env.sh中添加: # 在配置namenode和datanode时都会有用到JMX_OPTS的代码,是为了减少重复提取出的公共代码 export JMX_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxrem 阅读全文
posted @ 2019-04-29 18:04 niutao 阅读(1507) 评论(0) 推荐(0) 编辑