1.3Hadoop 开发插件安装(Hadoop3.0)
1.3Hadoop 开发插件安装(Hadoop3.0)
【实验目的】
1.了解Eclipse开发环境的使用
2.熟练掌握Hadoop开发插件安装
【实验原理】
Eclipse 是一个开放源代码的、基于 Java 的可扩展开发平台。就其本身而言,它只是一个框架和一组服务,用于通过插件组件构建开发环境。幸运的是Eclipse 附带了一个标准的插件集,包括 Java 开发工具(Java Development Tools,JDT)。
Eclipse的插件机制是轻型软件组件化架构。在客户机平台上,Eclipse使用插件来提供所有的附加功能,例如支持Java以外的其他语言。 已有的分离的插件已经能够支持C/C++(CDT)、Perl、Ruby,Python、telnet和数据库开发。插件架构能够支持将任意的扩展加入到现有环境中,例如配置管理,而决不仅仅限于支持各种编程语言。
Eclipse的设计思想是:一切皆插件。Eclipse核心很小,其它所有功能都以插件的形式附加于Eclipse核心之上。
Eclipse基本内核包括:图形API (SWT/Jface), Java开发环境插件(JDT ),插件开发环境(PDE)等。
Hadoop是一个强大的并行软件开发框架,它可以让任务在分布式集群上并行处理,从而提高执行效率。但是,它也有一些缺点,如编码、调试Hadoop程序的难度较大,这样的缺点直接导致开发人员入门门槛高,开发难度大。
因此,Hadoop的开发者为了降低Hadoop的难度,开发出了Hadoop Eclipse插件,它可以直接嵌入到Hadoop开发环境中,从而实现了开发环境的图形界面化,降低了编程的难度。
Hadoop Eclipse是Hadoop开发环境的插件,在安装该插件之前需要首先配置Hadoop的相关信息。用户在创建Hadoop程序时,Eclipse插件会自动导入Hadoop编程接口的jar文件,这样用户就可以在Eclipse插件的图形界面中进行编码、调试和运行Hadop程序,也能通过Eclipse插件查看程序的实时状态、错误信息以及运行结果。除此之外,用户还可以通过Eclipse插件对HDFS进行管理和查看。总而言之,Hadoop Eclipse插件不仅安装简单,使用起来也很方便。它的功能强大,特别在Hadoop编程方面为开发者降低了很大的难度,是Hadoop入门和开发的好帮手!
Eclipse插件的安装方法大体有以下四种:第一种:直接复制法,第二种:使用link文件法,第三种:使用eclipse自带图形界面安装,第四种:使用dropins安装插件,本实验Hadoop开发插件安装使用了eclipse自带图形界面安装。
【实验环境】
AnolisOS
Java 1.8.0
Hadoop-3.0.0
Eclipse-JEE 2022.03
【实验内容】
在已经安装好Hadoop和Eclipse环境中,将Hadoop插件安装到Eclipse工具上并对插件进行配置。
【实验步骤】
提示:Eclipse开发工具以及Hadoop默认已经安装完毕。
https://blog.csdn.net/w467502070/article/details/42967423
https://blog.csdn.net/m0_52735414/article/details/124492784
下载安装文件并上传
https://www.eclipse.org/downloads/packages/release/2022-03/r
注意vmuser账户进入
解压缩安装文件
到桌面执行,注意vmuser账户进入
Eclipse打开权限问题
1 打开终端模拟器,切换到vmuser用户(密码:vm123456)
2.进入/apps/hadoop/sbin目录,启动Hadoop
cd /apps/hadoop/sbin
./start-all.sh
查看进行是否启动
jps
3.在Linux本地创建/HDFS/hadoop3目录,用于存放所需文件。
mkdir -p /HDFS/hadoop3
切换目录到/HDFS/hadoop3目录下,并使用wget命令,下载所需的插件。
cd /HDFS/hadoop3
wget http://hadoop3/hadoop-eclipse-plugin-2.6.0.jar
4.将插件从/HDFS/hadoop3目录下,拷贝到/apps/eclipse/plugins的插件目录下。(密码:vm123456)
sudo cp /HDFS/hadoop3/hadoop-eclipse-plugin-2.6.0.jar /software/eclipse/plugins
5.在桌面双击Eclipse图标,启动Eclipse。
6.在Eclipse窗口界面,依次点击Window => Perspective => Open Perspective =>Other。
在弹出的窗口选择 Map/Reduce,并点击Open。
可以看到窗口中,有三个变化。(左侧项目浏览器、右上角操作布局切换、面板窗口)
7.添加Hadoop配置。
点击下方【Map/Reduce Locations】,在空白处右键,点击“ New Hadoop location...”,新建一个连接。
在这里添加Hadoop相关配置。
Location name:为此配置起的一个名字。
DFS Master:连接HDFS的主机名和端口号。
点击Finish保存配置。
8.展开左侧项目浏览视图,可以看到HDFS目录结构。
9.通过上图发现HDFS上已经存放了目录。接下来创建一个目录,检测插件是否可用。
右键myhadoop下的文件夹,在弹出的菜单中,点击Create new directory。
输入目录名称,点击OK
右键文件夹,点击Refresh,可用刷新HDFS目录。
此时,刚才创建的HDFS目录可以显示,表示创建成功
如果刷新不出来,重启eclipse即可。
到此,Hadoop开发插件已经安装完毕!