idea连接hadoop集群

准备文件

1.将hadoop-2.6.0.rar压缩包解压
2.增加系统变量HADOOP_HOME，变量值为hadoop-2.6.0.rar压缩包解压所在的目录 

3.在系统变量中对变量名为PATH的系统变量追加变量值，变量值为 %HADOOP_HOME%/bin

4.解压下载的winutils，找到对应或邻近版本的Hadoop，进入其bin目录，将其中的hadoop.dll和winutils.exe拷贝到C:\Windows\System32目录

5.依次点击“File”→“Settings”，在弹出的页面左侧依次点击“Build, Execution, Deployment”→“Build Tools”→“Maven”，勾选User Settings File和Local repository的Override选项

 

 6.将下载的settings.xml文件拷贝到C:\Users\Lenovo.m2（每个人根据上图方框内的路径查找是否有该文件，若有，则覆盖原文件，若无，则直接拷贝到该目录）目录，可将IDEA中maven修改为阿里镜像

7.打开IDEA，依次点击“File”→“New”→“Project”，点击左侧Maven，勾选上方“Create from archetype”，在下方列表中选择org.apache.maven.archetypes:maven-archetype-quickstart，点击“Next”

 

 

8.GroupId和ArtifactId自行填写，填写完毕后点击“Next”

 

 

9.勾选User Settings File和Local repository的Override选项，更改Local repository为其他路径，建议该路径有较大容量，点击“Next”

 

 

10.填写项目名，选择项目存储路径，点击“Finish”

此时，一些Maven工程会被加载到项目中，若左侧Project框内无src文件夹，等待Maven工程下载完毕
11.在Project框中src/main目录中新建目录resources

12.将远程集群的Hadoop安装目录下hadoop/hadoop-2.7.7/etc/hadoop目录下的core-site.xml、hdfs-site.xml两个文件通过Xftp等SFTP文件传输软件将两个文件复制，并移动到上述src/main/resources目录中（拖拽即可），然后将下载的log4j.properties文件移动到src/main/resources目录中（防止不输出日志文件）

 

 

13.使用下载的pom.xml文件覆盖项目本身的pom.xml文件（直接拖拽即可），该文件中的一些版本号（比如JDK、Hadoop等）修改为自己电脑中对应的版本（不修改似乎也可正常运行）

14.下面是遇到的问题：

 

 

15.参考：

https://blog.csdn.net/weixin_42278880/article/details/102551408

posted @ 2021-11-25 20:48  yasai  阅读(942)  评论(0)  编辑  收藏  举报