Hadoop | 核心配置（三）-完全分布式搭建基本完成
Hadoop | 核心配置
配置 core-site.xml
- cd $HADOOP_HOME/etc/hadoop
- vim core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?
<configuration>
<!-- 指定 NameNode 的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop102:8020</value>
</property>
<!-- 指定 hadoop 数据的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/moudle/hadoop-3.1.3/data</value>
</property>
<!-- 配置 HDFS 网页登录使用的静态用户为 zhy 正式开放环境一般不用超级用户登录 若使用需要配置登录页-->
<property>
<name>hadoop.http.staticuser.user</name>
<value>zhy</value>
</property>
<!-- 配置 zhy (superUser) 允许通过代理访问的主机节点-->
<property>
<name>hadoop.proxyuser.zhy.hosts</name>
<value>*</value>
</property>
<!-- 配置 zhy (superUser) 允许通过代理用户所属组-->
<property>
<name>hadoop.proxyuser.zhy.groups</name>
<value>*</value>
</property>
<!-- 配置 zhy (superUser) 允许通过代理的用户-->
<property>
<name>hadoop.proxyuser.zhy.users</name>
<value>*</value>
</property>
</configuration>
HDFS 配置文件 (hdfs-site.xml)
- vim hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?
<configuration>
<!-- nn web 端访问地址-->
<property>
<name>dfs.namenode.http-address</name>
<value>hadoop102:9870</value>
</property>
<!-- 2nn web 端访问地址-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop104:9868</value>
</property>
<!--hdfs副本数一般为3-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
YARN配置文件(yarn-site.xml)
- vim yarn-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定 MR 走 shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定 ResourceManager 的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop103</value>
</property>
<!-- 环境变量的继承 -->
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
<!-- yarn容器允许分配的最大最小内存 -->
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>512</value>
</property>
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>4096</value>
</property>
<!-- yarn容器允许管理的物理内存大小 -->
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>4096</value>
</property>
<!-- 关闭yarn对物理内存和虚拟内存的限制检查 -->
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
</configuration>
MapReduce配置文件(mapred-site.xml)
- vim mapred-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
分发配置
xsync /opt/module/hadoop-3.1.3/etc/hadoop
检查分发情况
登录其他机器检查
启动集群
- 配置workers
vim /opt/module/hadoop- 3.1.3/etc/hadoop/workers
增加以下内容:
hadoop102
hadoop103
hadoop104
- 同步所有节点该配置文件
xsync /opt/module/hadoop-3.1.3/etc - 如果集群是第一次启动，需要在 hadoop102 节点格式化 NameNode（注意：格式化 NameNode，会产生新的集群 id，导致 NameNode 和 DataNode 的集群 id 不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化 NameNode 的话，一定要先停止 namenode 和 datanode 进程，并且要删除所有机器的 data 和 logs 目录，然后再进行格式化。）
hdfs namenode -formatsbin/start-dfs.sh- 在配置了 ResourceManager的节点 （hadoop103）启动YARN
sbin/start-yarn.sh - Web端查看 端查看 HDFS的 NameNode
1. 访问：http://hadoop102:9870
2. 查看 HDFS 上存储的数据 - Web 端查看 YARN 的 ResourceManager
1. 浏览器中输入：http://hadoop103:8088
2. 查看 YARN上运行的 Job信息
