7/29

五、Hadoop环境配置

注：这里利用了一个NotePad++软件，对改配置文件非常方便

       安装Notepad++并进行操作：

               (1)打开notepad++->插件->插件管理->选择NppFTP安装

               (2)安装NppFTP后notepad++稍后会自己出来表示NppFTP已安装完成

               (3)选择插件->NppFTP->show nppFTP window

               (4)nppFTP窗口设置齿轮按钮->Profile settings->add new如图

               (5)点击连接按钮进行连接，然后双击根目录"/"切换到虚拟机目录

               (6)找到需要修改的文件位置home->softwares->hadoop-2.9.2->etc->hadoop然后开始找文件修改

PS:也可以不使用NotePad++软件直接对Hadoop配置文件修改，通过路径home->softwares->hadoop-2.9.2->etc->hadoop找到配置文件所在位置再对相应的配置文件进行下文修改操作亦可

 

1.notepad++打开并修改hadoop-env.sh文件

   这行代码改为export JAVA_HOME=/home/softwares/jdk1.8.0_131

   注：JAVA_HOME查询是可以通过指令echo $JAVA_HOME查询到复制即可

2.修改core-site.xml文件

   <configuration>

     <property>

         <name>fs.defaultFS</name>

         <value>hdfs://hadoop:8020</value>

     </property>

     <property>

         <name>hadoop.tmp.dir</name>

         <value>/home/softwares/hadoop-2.9.2/data/tmp</value>

     </property>

   </configuration>

3.配置Hadoop文件系统

   (1)修改hdfs-site.xml文件

       <configuration> 

            <property>

                 <name>dfs.replication</name>

                 <value>1</value>

            </property>

       </configuration>

   (2)格式化文件系统

        虚拟机cmd切换到hadoop-2.9.2目录下

        键入bin/hdfs namenode –format

   (3)启动文件系统

       终端切换到hadoop-2.9.2目录下

       键入sbin/start-dfs.sh

   (4)在浏览器下输入网址http://10.15.27.101:50070/会出现一个图show-6

4.配置yarn

   (1)修改mapred-site.xml-------------名字一开始是mapred-site.xml.template将此文件重命名去掉后面的".template"

       <configuration>

           <property>

                <name>mapreduce.framework.name</name>

                <value>yarn</value>

           </property>

       </configuration>

   (2)修改yarn-site.xml

       <configuration>

           <property>

                 <name>yarn.nodemanager.aux-services</name>

                 <value>mapreduce_shuffle</value>

           </property>

       </configuration>

   (3)启动yarn

       进入hadoop-2.9.1目录指令cd /home/softwares/hadoop-2.9.2/

       键入sbin/start-yarn.sh启动yarn(与之对应的停止yarn的指令是sbin/stop-yarn.sh)

   (4)在浏览器下输入网址http://10.15.27.101:8088/会出现一个图show-7-----------------大数据监控后台