spark on yarn实例练习

1、spark on yarn作业提交(yarn-client模式)

bin/spark-submit \
--class dajiangtai.averageAge \
--master yarn-client \
--num-executors 1 \
--driver-memory 1g \
--executor-memory 1g \
--executor-cores 1 \
lib/wordcount-1.0-SNAPSHOT.jar \
hdfs://192.168.101.128:9000/test/age.txt \
hdfs://192.168.101.128:9000/test/result1

2、求平均年龄

3、求男女最大身高

4、寻找搜索频率最高的K个关键词(注意case用法)

posted @ 2017-12-30 17:25  乡村骑士2  阅读(413)  评论(0编辑  收藏  举报