Hadoop权威指南——学习笔记1
单位买的Hadoop权威指南,一直放着,最近拿起来看了看,确实不错,好久没读书了,不知道这么厚的一本能看多少。我是翻到那里看到哪里了,有用的记下来,以后查的时候方便吧。先来第一篇,今天看的第九章构架hadoop集群的hadoop配置,发现有些配置以前理解错了,记下来,记下来。
- 属性项dfs.name.dir指定一系列目录供namenode存储永久性的文件系统元数据(编辑日志和文件系统映像)。这些元数据文件会同时备份在所有指定的目录中。通常情况下,配置dfs.name.dir,将namenode的元数据写到一个(或两个)本地磁盘和一个远程磁盘(例如NFS挂载的目录)之中。辅助namenode只定期保存namenode的检查点,不提供namenode的最新备份。
- 属性项dfs.data.dir指定datanode存储数据目录。虽然 dfs.data.dir也描述了一系列目录,但是其目的是循环地在各个目录中写数据。因此,为了提高性能,最好分别为各个本地磁盘制定一个存储目录。这样一来,数据块跨磁盘分布,针对不同的数据块的读操作可以并发执行,从而提升读性能。
- 属性项fs.checkpoint.dir指定一系列目录来保存辅助namenode存储文件系统的检查点。与namenode类似,检查点映像文件会分别存储在各个目录之中,以支持冗余备份。