idea连接hadoop集群
准备文件
- hadoop-2.6.0.rar 提取码xix0
- winutils下载
- pom.xml 提取码whau
- settings.xml 提取码tszl
- log4j.properties 提取码9rwa
1.将hadoop-2.6.0.rar压缩包解压
2.增加系统变量HADOOP_HOME,变量值为hadoop-2.6.0.rar压缩包解压所在的目录
3.在系统变量中对变量名为PATH的系统变量追加变量值,变量值为 %HADOOP_HOME%/bin
4.解压下载的winutils,找到对应或邻近版本的Hadoop,进入其bin目录,将其中的hadoop.dll和winutils.exe拷贝到C:\Windows\System32目录
5.依次点击“File”→“Settings”,在弹出的页面左侧依次点击“Build, Execution, Deployment”→“Build Tools”→“Maven”,勾选User Settings File和Local repository的Override选项
6.将下载的settings.xml文件拷贝到C:\Users\Lenovo.m2(每个人根据上图方框内的路径查找是否有该文件,若有,则覆盖原文件,若无,则直接拷贝到该目录)目录,可将IDEA中maven修改为阿里镜像
7.打开IDEA,依次点击“File”→“New”→“Project”,点击左侧Maven,勾选上方“Create from archetype”,在下方列表中选择org.apache.maven.archetypes:maven-archetype-quickstart,点击“Next”
8.GroupId和ArtifactId自行填写,填写完毕后点击“Next”
9.勾选User Settings File和Local repository的Override选项,更改Local repository为其他路径,建议该路径有较大容量,点击“Next”
10.填写项目名,选择项目存储路径,点击“Finish”
此时,一些Maven工程会被加载到项目中,若左侧Project框内无src文件夹,等待Maven工程下载完毕
11.在Project框中src/main目录中新建目录resources
12.将远程集群的Hadoop安装目录下hadoop/hadoop-2.7.7/etc/hadoop目录下的core-site.xml、hdfs-site.xml两个文件通过Xftp等SFTP文件传输软件将两个文件复制,并移动到上述src/main/resources目录中(拖拽即可),然后将下载的log4j.properties文件移动到src/main/resources目录中(防止不输出日志文件)
13.使用下载的pom.xml文件覆盖项目本身的pom.xml文件(直接拖拽即可),该文件中的一些版本号(比如JDK、Hadoop等)修改为自己电脑中对应的版本(不修改似乎也可正常运行)
14.下面是遇到的问题:
15.参考:
https://blog.csdn.net/weixin_42278880/article/details/102551408