hadoop伪分布式环境配置

配置hadoop2.7.1伪分布式 需要配置五个文件

第一个： vim hadoop-env.sh

 export JAVA_HOME=/usr/java/jdk1.7.0_80

 

第二个： vim core-site.xml

<configuration>

<!-- 用来这顶HDFS的老大（NameNode）的地址-->   

  <property>

       <name>fs.defaultFS</name>

       <value>hdfs://majiabin01:9000</value>

    </property>

<!-- 用来指定Hadoop运行时产生文件存放的目录-->

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/itcast/hadoop-2.7.1/temp</value>

    </property>

</configuration>

 

第三个： vim hdfs-site.xml

<configuration>

<!-- 用来指定HDFS保存数据副本的数量-->

     <property>

        <name>dfs.replication</name>

        <value>1</value>

     </property>

</configuration>

 

第四个： vim mapred-site.xml （mv mapred-site.xml.template mapred-site.xml）

 

<configuration>

  <!-- 告诉Hadoop以后MR运行在YARN上-->

   <property>

       <name>mapreduce.frameword.name</name>

       <value>yarn</value>

   </property>

</configuration>

 

第五个：vim yarn-site.xml

<configuration>

  <!--NodeManager获取的方式是shuffle-->

         <property>

            <name>yarn.nodemanager.aux-services</name>

            <value>mapreduce_shuffle</value>

         </property>

  <!--指定YARN的老大（ResourceManager）的地址-->

         <property>

            <name>yarn.resourcemanager.hostname</name>

            <value>majiabin01</value>

         </property>

</configuration>

 

 

将Hadoop添加到环境变量中

vim /etc/properfile

export JAVA_HOME=/usr/java/jdk1.7.0_80

export HADOOP_HOME=/itcast/hadoop-2.7.1

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

刷新配置 source /etc/profile

初始化HDFS(初始化文件系统)

Hadoop namenode -format(已过时)

hdfs namenode -format(推测)

 

启动HDFS和YARN

cd /itcast/hadoop-2.7.1/sbin/

 ./start-all.sh(过时了)

还可以通过浏览器的方式验证

http://192.168.8.88:50070(hdfs管理界面)

http://192.168.8.88:8088(mr管理界面)

 

 

配置ssh免登陆  

      #生成ssh免登陆密钥

      #进入到我的home目录

       cd ~/.ssh

       ssh-keygen -t rsa （四个回车）

       执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）  

       将公钥拷贝到要免登陆的机器上

       ssh-copy-id localhost