搭建基于MyEclipse的Hadoop开发环境

 

　　不多说，直接上干货！

 

　　前面我们已经搭建了一个伪分布模式的Hadoop运行环境。请移步，

hadoop-2.2.0.tar.gz的伪分布集群环境搭建(单节点)

 

　　我们绝大多数都习惯在Eclipse或MyEclipse中做Java开发，本次随笔我就教大家如何搭建一个基于MyEclipse IDE的Hadoop开发环境。

　　闲话少说，走起！

 

 

 

 

第一步 安装MyEclipse的Hadoop插件

　　1 打开MyEclipse，查看是否已经安装过

　　window  ->  preferences 

　　没有显示Hadoop Map/Reduce，则说明MyEclipse是没有安装过Hadoop的插件。

　　首先，确认你本地的Windows上已经安装JDK和Eclipse或者MyEclipse，并能开发java程序。

 

 

2、下载Eclipse的Hadoop插件hadoop-eclipse-plugin-2.2.0 

　　将下载下来的jar文件放入安装的MyEclipse 10\dropins目录下，然后重启MyEclipse。

　　放进去

 

　　重启后，会出现下面的这个界面，即弹出Drop-in Changes Detected检测，点击ok即可，

 

　　即，出现了Hadoop Map/Reduce，说明在MyEclipse里安装Hadoop插件成功。

 

 

第二步 本地的Hadoop安装

1、hadoop-2.2.0-x64.rar的下载

　　首先，明确了本地的JDK是64位版本，所以需要下载对应位的hadoop运行包。其实，也是为了与CentOS6.5里的hadoop运行包和jdk对应一致。

 

2 、解压下载的文件包，存放在你希望的某个目录下，比如：D:\Software\hadoop-2.2.0

　　重启MyEclipse，菜单的Windows   ->   Preferences 中

　　会多出一个 Hadoop Map/Reduce的项。点击这一项，右侧选择你的Hadoop存放目录 （D:\Software\hadoop-2.2.0）

　　解压前，

 

 

　　解压后，

 

 

 

3、配置环境变量

 

 

 

 

　　新建环境变量HADOOP_HOME，变量值为D:\Software\hadoop-2.2.0

 

 

修改Path变量，添加：

;D:\Software\hadoop-2.2.0\bin   注意分号

 

 

 

 

4、添加Map/Reduce Location

　　将Eclipse/MyEclipse切换到Map/Reduce视图，

 

 

　　底部操作区会出现Map/Reduce Locations项，如下图所示：

 

 

　　在上图所示区域点击鼠标右键或者如上图所示点击它也行，然后New Hadoop location.

　　在弹出的界面中做如下设置：

 

 

 

 

50020 -> 50070      （50070是MapReduce的Web界面）

50040-> 9000  

zhouls -> hadoop

 

 

5、sbin/start-all.sh ， 再 jps

 

 

6、 点击windows  ->  show view  ->  project Exploer ，可以出现以下

 

 

　　这就表明，hadoop与本地的MyEclipse搭建成功。

 

 

 

新建MapReduce项目

　　下面，新建一个

　　1、File  ->  New  ->  Map/Reduce Project 

 

 

2、将Map/Reduce Project 项目工程的名字设置为Hadoop

 

 

3、Open Associated Perspective选择界面，点击“Yes”

 

 

4、即出现Hadoop

 

 

5、新建包Package

  src   ->    New  Package 

Source  folder: Hadoop/src

Name:com.dajiangtai.hadoop.test

 

 

6、新建类名，WordCount

 

 

7、来看下WordCount自带的程序：

 

 

 

 

 

改之前，是

 

 

改之后，是

 

 

 

 

8、window -> show view -> other -> 

 

 

9、运行下程序。

 

 

10、

 

 

 

11、

 

 

 

12、在本地的Hadoop安装目录下的src目录里，将log4j.properties复制到其下。

 

 

 

 13、重启后的MyEclipse对应的位置。

 

 

 

 

 

 

 

 

　　然后，再执行WordCount.java

　　刷新，查询下结果

 

　　这个统计结果跟之前一致。

　　即表明搭建基于MyEclipse的Hadoop开发环境已经成功！

 

 

 

 

 

 

 

欢迎大家，加入我的微信公众号：大数据躺过的坑        人工智能躺过的坑

 

 

 

同时，大家可以关注我的个人博客：

   http://www.cnblogs.com/zlslch/   和     http://www.cnblogs.com/lchzls/      http://www.cnblogs.com/sunnyDream/   

   详情请见：http://www.cnblogs.com/zlslch/p/7473861.html

 

　　人生苦短，我愿分享。本公众号将秉持活到老学到老学习无休止的交流分享开源精神，汇聚于互联网和个人学习工作的精华干货知识，一切来于互联网，反馈回互联网。
　　目前研究领域：大数据、机器学习、深度学习、人工智能、数据挖掘、数据分析。 语言涉及：Java、Scala、Python、Shell、Linux等 。同时还涉及平常所使用的手机、电脑和互联网上的使用技巧、问题和实用软件。 只要你一直关注和呆在群里，每天必须有收获

 

      对应本平台的讨论和答疑QQ群：大数据和人工智能躺过的坑（总群）（161156071）