摘要: spark-shell 启动 spark-shell 通常需要指定 master、executor 内存、executor 数量等参数。由于 YARN 集群有审计机制,每个人提交的 spark application 需要指定 name 参数,同时确保 name 是以个人的 LDAP 用户名为后缀。 阅读全文
posted @ 2017-06-13 20:51 锅贴君的包子铺 阅读(1457) 评论(0) 推荐(0) 编辑