集群提交spark任务命令

 >>spark-submit --class WordCount  DataMining.jar /dept_ana/part-00000 /dept_ana/output/wordCountResult --master yarn --num-executors 30 --executor-memory 4g --executor-cores 2 --name test_wordcount

--name 任务名称

/dept_ana/part-00000  程序读取的文件路径

 

/dept_ana/output/wordCountResult 输出的文件路径

 

 

更多精彩内容，欢迎扫码关注以下微信公众号：大数据技术宅。大数据、AI从关注开始

posted @ 2017-10-10 09:50  大数据技术宅  阅读(1038)  评论(0)  编辑  收藏  举报