1.3Hadoop 开发插件安装(Hadoop3.0)

1.3Hadoop 开发插件安装(Hadoop3.0)

【实验目的】

1.了解Eclipse开发环境的使用

2.熟练掌握Hadoop开发插件安装

【实验原理】

Eclipse 是一个开放源代码的、基于 Java 的可扩展开发平台。就其本身而言,它只是一个框架和一组服务,用于通过插件组件构建开发环境。幸运的是Eclipse 附带了一个标准的插件集,包括 Java 开发工具(Java Development Tools,JDT)。

Eclipse的插件机制是轻型软件组件化架构。在客户机平台上,Eclipse使用插件来提供所有的附加功能,例如支持Java以外的其他语言。 已有的分离的插件已经能够支持C/C++(CDT)、Perl、Ruby,Python、telnet和数据库开发。插件架构能够支持将任意的扩展加入到现有环境中,例如配置管理,而决不仅仅限于支持各种编程语言。

Eclipse的设计思想是:一切皆插件。Eclipse核心很小,其它所有功能都以插件的形式附加于Eclipse核心之上。

Eclipse基本内核包括:图形API (SWT/Jface), Java开发环境插件(JDT ),插件开发环境(PDE)等。

Hadoop是一个强大的并行软件开发框架,它可以让任务在分布式集群上并行处理,从而提高执行效率。但是,它也有一些缺点,如编码、调试Hadoop程序的难度较大,这样的缺点直接导致开发人员入门门槛高,开发难度大。

因此,Hadoop的开发者为了降低Hadoop的难度,开发出了Hadoop Eclipse插件,它可以直接嵌入到Hadoop开发环境中,从而实现了开发环境的图形界面化,降低了编程的难度。

Hadoop Eclipse是Hadoop开发环境的插件,在安装该插件之前需要首先配置Hadoop的相关信息。用户在创建Hadoop程序时,Eclipse插件会自动导入Hadoop编程接口的jar文件,这样用户就可以在Eclipse插件的图形界面中进行编码、调试和运行Hadop程序,也能通过Eclipse插件查看程序的实时状态、错误信息以及运行结果。除此之外,用户还可以通过Eclipse插件对HDFS进行管理和查看。总而言之,Hadoop Eclipse插件不仅安装简单,使用起来也很方便。它的功能强大,特别在Hadoop编程方面为开发者降低了很大的难度,是Hadoop入门和开发的好帮手!

Eclipse插件的安装方法大体有以下四种:第一种:直接复制法,第二种:使用link文件法,第三种:使用eclipse自带图形界面安装,第四种:使用dropins安装插件,本实验Hadoop开发插件安装使用了eclipse自带图形界面安装。

【实验环境】

AnolisOS

Java 1.8.0

Hadoop-3.0.0

Eclipse-JEE 2022.03

【实验内容】

在已经安装好Hadoop和Eclipse环境中,将Hadoop插件安装到Eclipse工具上并对插件进行配置。

【实验步骤】

提示:Eclipse开发工具以及Hadoop默认已经安装完毕。

https://blog.csdn.net/w467502070/article/details/42967423

https://blog.csdn.net/m0_52735414/article/details/124492784

下载安装文件并上传

https://www.eclipse.org/downloads/packages/release/2022-03/r

注意vmuser账户进入

解压缩安装文件

到桌面执行,注意vmuser账户进入

Eclipse打开权限问题

1 打开终端模拟器,切换到vmuser用户(密码:vm123456)

2.进入/apps/hadoop/sbin目录,启动Hadoop

cd /apps/hadoop/sbin

./start-all.sh

查看进行是否启动

jps

3.在Linux本地创建/HDFS/hadoop3目录,用于存放所需文件。

mkdir -p /HDFS/hadoop3

切换目录到/HDFS/hadoop3目录下,并使用wget命令,下载所需的插件。

cd /HDFS/hadoop3

wget http://hadoop3/hadoop-eclipse-plugin-2.6.0.jar

4.将插件从/HDFS/hadoop3目录下,拷贝到/apps/eclipse/plugins的插件目录下。(密码:vm123456)

sudo cp /HDFS/hadoop3/hadoop-eclipse-plugin-2.6.0.jar /software/eclipse/plugins

5.在桌面双击Eclipse图标,启动Eclipse。

6.在Eclipse窗口界面,依次点击Window => Perspective => Open Perspective =>Other。

在弹出的窗口选择 Map/Reduce,并点击Open。

可以看到窗口中,有三个变化。(左侧项目浏览器、右上角操作布局切换、面板窗口)

7.添加Hadoop配置。

点击下方【Map/Reduce Locations】,在空白处右键,点击“ New Hadoop location...”,新建一个连接。

在这里添加Hadoop相关配置。

Location name:为此配置起的一个名字。

DFS Master:连接HDFS的主机名和端口号。

点击Finish保存配置。

8.展开左侧项目浏览视图,可以看到HDFS目录结构。

9.通过上图发现HDFS上已经存放了目录。接下来创建一个目录,检测插件是否可用。

右键myhadoop下的文件夹,在弹出的菜单中,点击Create new directory。

输入目录名称,点击OK

右键文件夹,点击Refresh,可用刷新HDFS目录。

此时,刚才创建的HDFS目录可以显示,表示创建成功

如果刷新不出来,重启eclipse即可。

到此,Hadoop开发插件已经安装完毕!

posted @ 2024-06-05 10:15  jhtchina  阅读(9)  评论(0编辑  收藏  举报