Hadoop 中 Eclipse 的配置


先启动Hadoop守护进程,进入hadoop安装目录,执行bin/start-all.sh

主要是为了之后能正确测试   


Ubuntu中下载安装Eclipse,执行sudo apt-get install eclipse

一直等待下载自动安装,过程比较缓慢,给点耐心


 Eclipse下安装hadoop-eclipse-plugin(插件jar包已提供)。复制此插件jar包到eclipse安装目录/plugins/ 下。可通过whereiseclipse查看eclipse安装目录。

       (如无意外是将该插件jar包放到 /usr/lib/eclipse/pubgins 目录下)


重启eclipse 安装插件成功。如果插件安装成功,【Window】 —> 【Preferences】,会发现 Hadoop Map/Reduce 选项

选择 Hadoop Map/Reduce 在右边点击Browse,选择 Hadoop安装目录。配置完成后退出。


配置Map/Reduce Localtions

打开Map/Reduce Localtions窗口

即可打开Map/Reduce Localtions窗口

右键点击空白处进行新建

location name:可随意填写,它表示一个Map/Reduce Localtions标识;
Map/Reduce Master 这个框里
    Host:就是jobtracker 所在的集群机器,这里写localhost
    Port:就是jobtracker 的port,这里写的是9001
    这两个参数就是mapred-site.xml里面mapred.job.tracker里面的ip和port  
DFS Master 这个框里
    Host:就是namenode所在的集群机器,这里写localhost
    Port:就是namenode的port,这里写9000
    这两个参数就是core-site.xml里面fs.default.name里面的ip和port
    Use M/R master host,这个复选框如果选上,就默认和Map/Reduce Master这个框里的host一样,如果不选择,就可以自己定义输入,这里jobtracker 和namenode在一个机器上,所以是一样的,就勾选上
user name:这个是连接hadoop的用户名,

 



选择Advanced Parameters进行设置

修改以下配置:

​修改 hadoop.tmp.dir 使其与 core-site.xml 配置保持一直

修改 dfs.replication 使其与 hdfs-site.xml 保持一致

保存,退出,如果显示可以文件夹书>=2即表明创建成功,如果成功会显示连接失败


配置:ssh的authorized_keys
eclipse中配置:
【Window】-》【Preferences】-》【General】-》

【Network Connections】-》【SSH2】-》【General】-》【SSH2 home】
配置存放authorized_keys的路径;

与配置中的保持一直;


配置 Hadoop 安装目录中 conf 中的 hdfs-site.xml,添加如下语句:


1、新建项目。 

【File】-->【New】-->【Project】 -->【Map/Reduce Project】 

项目名可以随便取,如maptest。选中maptest项目下的src,右键新建一个class类,名称定义为example,代码见example.java

2、上传模拟数据文件夹。为了运行程序,需要一个输入的文件夹,和输出的文件夹。输出文件夹,在程序运行完成后会自动生成。

将文件testnew上传到分布式文件系统中。 

3、运行项目。

1.在新建的项目maptest,点击example.java,右键-->Run As-->RunConfigurations 

2.在弹出的RunConfigurations对话框中,点Java Application,右键-->New,这时会新建一个application名为example

3.配置运行参数,点Arguments,在Programarguments中输入要传给程序的输入文件和要求程序将计算结果保存的文件夹,如: 

 

4、点击Run,运行程序。点击Run,运行程序,过段时间将运行完成,等运行结束后,可以在终端中用命令验证是否成功。

 


如配置出了问题,重新更新配置,可能需要重启才能是新的配置生效。


参考:

http://f.dataguru.cn/thread-224817-1-1.html

http://blog.csdn.net/caoshichaocaoshichao/article/details/15493819

http://f.dataguru.cn/thread-168863-1-1.html

http://f.dataguru.cn/thread-234138-1-1.html






posted @ 2014-04-23 08:37  Jenyow  阅读(1127)  评论(0编辑  收藏  举报