Idea本地调试Flink踩坑
1.背景
最近在整理以往写的项目,需要把所有做过的项目全部放到一个git地址上,整理过程中,准备再测试一下Flink程序,结果程序无法启动,就只有跟着报错一个一个的踩坑。
2.实施步骤
(1)报无法加载主类,查阅代码以往有些代码和jar包是注释掉的,这次整理代码把注释干掉了,导致很多包引用进来,猜测是因为包冲突导致的。
以往遇到这种问题都是通过mvn dependency:tree命令来解决,这次发现了一个好的插件maven helper,果断安装重启IDEA。
点击pom.xml文件,然后点击分析,就可以图形化展示所有冲突,一个一个的右击标红的选择排除就可以了。
(2)接着又报找不到方法,前面环境初始化都没问题,代码执行execute开始报错,各种查阅,翻阅之前的技术文档,最后想到是不是集群版本升级的原因,于是把scala版本从2.11改成2.12,这个问题才得以解决。
(3)报无法找到主节点代理,通过修改hdfs.xml,改为如下内容即可。