2018年12月13日

关于spark通过idea提交任务到集群的操作，本地机器和远程的spark集群的网络不同的操作。

摘要： 今天在将本地idea当中的代码提交到远程的spark集群的时候，出现了下面的错误 看到这个错的第一反应就是集群本地和spark的通讯是不是正常的，因为我们通过本地提交任务的时候启动了spark_ui界面这个相当于在本地进行操作的，相当于spark的client。但是真正的执行者又是在集群当中。所以两 阅读全文

posted @ 2018-12-13 20:05 gxg123 阅读(1120) 评论(0) 推荐(0) 编辑

关于在maven当中引入CDH包不能引入的解决方案

摘要： 最近在做spark远程操作CM安装的集群，创建的maven工程但是cdh的jar包就是下载不下来。怀疑是maven的原因，但是maven的版本换了好多，还是不行。（我们安装的CM集群是5.14.0） 还有一种办法是手动的加入到maven仓库当中。都是那么多表手动加累死。 最后在网上看大别人写的在po 阅读全文

posted @ 2018-12-13 19:31 gxg123 阅读(811) 评论(0) 推荐(0) 编辑

导航