localhost方式提交作业到spark运行

  • 修改参数
代码见上一节代码地址

Java版本:

JavaRDD rdd1 =  sc.textFile(args[0])
Scala版本:

val rdd1 = sc.textFile(args(0))

  • 编译
  • 添加spark依赖包
<dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.2.1</version>
        </dependency>

  • 利用maven打包



  • 将打包文件复制到centos的home目录下
  • 进入spark的bin目录运行jar包
[root@localhost bin]# spark-submit --master local --name mywordCount --class  com.cr.scala.wordcountscala sparkDemo3-1.0-SNAPSHOT.jar /home/test.txt

注意包名在前,jar包在后

运行结果如图所示:


 还要注意的是Scala版本和spark版本一定要对应


posted @ 2017-12-15 15:32  crr121  阅读(112)  评论(0编辑  收藏  举报