2018年2月10日

linux平台使用spark-submit以cluster模式提交spark应用到standalone集群
摘要： shell脚本如下 --master参数要指定为REST URL，不然要报警告。 --supervise如果指定了这个参数那么应用就会故障重启，比如driver节点挂掉了就会在集群中重新选一个节点重启driver。 最后的应用jar包参数我这里使用的是本地文件，由于cluster要求所有节点都能找到 阅读全文
posted @ 2018-02-10 16:16 skyer1992 阅读(378) 评论(0) 推荐(0) 编辑
windows平台使用spark-submit以client方式提交spark应用到standalone集群
摘要： 1、spark应用打包，我喜欢打带依赖的，这样省事。 2、使用spark-submit.bat 提交应用,代码如下: 第一行是读取配置，里面定义了一些变量，之后启动spark-submit.bat 脚本，--class指定main函数的类，路径是以classes为根目录的;master指定了mast 阅读全文
posted @ 2018-02-10 16:10 skyer1992 阅读(789) 评论(0) 推荐(0) 编辑
spark使用idea以client模式提交应用到standalone集群
摘要： 使用idea以client方式提交代码到standalone集群非常简单。 1、首先有一个部署好且已经启动的standalone集群 2、将应用打包 （这里两种选择，一种是包里只含应用不含依赖，另一种是包里是有依赖的。） 没图说个JB: 可以看到第一个是不带依赖的包，这个包就比较小，第二个就是带依赖 阅读全文
posted @ 2018-02-10 15:53 skyer1992 阅读(391) 评论(0) 推荐(0) 编辑

导航