hadoop安装、配置以及与eclipse的集成

下载

hadoop下载

winutils（windows环境下的依赖）下载

配置

添加环境变量

  • HADOOP_HOME=D:\hadoop\hadoop-2.8.4
  • path=%HADOOP_HOME%\bin

修改配置文件

所有配置文件都在\etc\hadoop\下

  • hadoop-env.cmd文件中有java环境变量，java路径中不能有空格，否则后面格式hadoop时会报错。
    解决办法：

    • 用路径替代符：C:\PROGRA1\Java\jdk1.8.0_91；PROGRA1 ===== C:\Program Files 目录的dos文件名模式下的缩写长于8个字符的文件名和文件夹名，都被简化成前面6个有效字符，后面~1，有重名的就 2,3,
    • 用引号括起来："C:\Program Files"\Java\jdk1.8.0_91

  • core-site.xml

  <configuration>
    <property>  
　　　　<name>fs.default.name</name>  
　　　　<value>hdfs://localhost:9000</value>  
　　 </property>     
  </configuration>
  • hdfs-site.xml
<configuration>
<property>  
　　<name>dfs.replication</name>  
　　<value>1</value>  
</property>
<property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/hadoop/data/dfs/namenode</value>
</property>
<property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/hadoop/data/dfs/datanode</value>
</property> 
</configuration>
  • mapred-site.xml
<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
</configuration>
  • yarn-site.xml
<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-

services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

启动

hadoop namenode -format //格式化hdfs
cd xx/hadoop/sbin //进入到sbin目录下
start-dfs.cmd   //先启动dfs  
start-yarn.cmd  //再启动yarn  
//或者
//start-all.cmd //相当于以上的两条命令

访问url验证：

http://localhost:8088 
http://localhost:50070

与eclipse集成

  • 下载hadoop-eclipse-plugin-2.7.0.jar
  • 加入\eclipse\plugins文件夹下（如果不行，试着加入dropins文件夹）
  • 重启eclipse，点击右上角open perspective，点击map/reduce
  • 打开map/reduce locations ，点击右上角小象图案。
  • 。。。
posted @ 2018-07-19 14:18  wlf0523  阅读(69)  评论(0)  编辑  收藏  举报