hadoop学习笔记(三):hadoop文件结构

hadoop完整安装目录结构:

比较重要的包有以下4个:

src

hadoop源码包。最核心的代码所在目录为core、hdfs和mapred,他们分别实现了hadoop最重要的3个模块:基础公共库、HDFS实现和MapReduce实现

conf

配置文件所在目录。hadoop的配置文件较多,其设计原则可概括为以下两点:

  1 尽可能模块化,即每个重要模块拥有自己的配置文件,这样使得维护及管理变得简单。

  2 动静分离,即将可动态加载的配置选项剥离出来,组成独立配置文件。比如 hadoop1.0.0版本之前,作业队列权限管理相关的配置选项被放在配置文件mapred-site.xml中,而该文件是不可以动态加载的,每次修改后必须重启MapReduce。但从1.0.0版本开始,这些配置选项被剥离放到独立配置文件mapred-queue-acls.xml中,该文件可以通过hadoop命令进行动态加载。

lib

hadoop运行时依赖的第三方包,包括编译好的jar以及其他语言生成的动态库。hadoop启动或者用户提交作业时,会自动加载这些库。

bin

 shell启动脚本文件夹。

posted @ 2018-04-25 13:36  老王和小杨  阅读(714)  评论(0编辑  收藏  举报