Hadoop单机模式的配置与安装
Hadoop单机模式的配置与安装
单机hadoop集群正常启动后进程情况
ResourceManager
NodeManager
SecondaryNameNode
NameNode
DataNode
完全分布式。最少要有三个节点(三台主机)
一个节点用来做:NameNode和JobTracker
一个节点用来做:SecondaryNameNode,随时用来编辑日志,完成向NameNode之间的合并。
一个节点用来做:DateNode,存储数据。
HDFS进程有许多属性可以定义其工作路,如 hdfs-site.xml
dfs.name.dir属性定义的HDFS元数据持久存储路径默认为${hadoop.tmp.dir}/dfs/name、
dfs.data.dir属性定义的DataNode用于存储数据块的目录路径默认为${hadoop.tmp.dir}/dfs/data、
fs.checkpoint.dir属性定义的SecondaryNameNode用于存储检查点文件的目录默认为${hadoop.tmp.dir}/dfs/namesecondary。
hadoop.tmp.dir -- 定义在 core-site.xml
格式化
[hduser@gdy01 ~]$hadoop namenode -format