hadoop集群配置

进入 hadoop的etc目录下找到配置文件

cd  /opt/module/hadoop-3.1.3/etc/hadoop

 

 

 配置core-site.xml

指定NameNode的地址

指定hadoop数据的存储目录

<configuration>

    <!-- 指定NameNode的地址 -->

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://hadoop102:8020</value>

    </property>

    <!-- 指定hadoop数据的存储目录 -->

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/opt/module/hadoop-3.1.3/data</value>

    </property>

</configuration>

HDFS配置文件，配置hdfs-site.xml

<configuration>

   <!-- nn web端访问地址-->

   <property>

        <name>dfs.namenode.http-address</name>

        <value>hadoop102:9870</value>

    </property>

   <!-- 2nn web端访问地址-->

    <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>hadoop104:9868</value>

    </property>

</configuration>

YARN配置文件，配置yarn-site.xml

<configuration>

    <!-- 指定MR走shuffle -->

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

 

    <!-- 指定ResourceManager的地址-->

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>hadoop103</value>

    </property>

 

    <!-- 环境变量的继承 -->

    <property>

        <name>yarn.nodemanager.env-whitelist</name>

        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>

    </property>

</configuration>

MapReduce配置文件

<configuration>

   <!-- 指定MapReduce程序运行在Yarn上 -->

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

</configuration>

将配置文件分发到hadoop103、hadoop104上

xsync hadoop

配置workers并分发

hadoop102

hadoop103

hadoop104

xsync workers

 

 

集群第一次启动需要初始化NameNode

hdfs namenode -format

 

 

 

 启动集群

sbin/start-dfs.sh

在hadoop102、hadoop103、hadoop104上分别jps

 

 

 

 

 在hadoop103上启动ResourceManage

sbin/start-yarn.sh

 

 

 

 

 

 集群测试