Spark 跑 java 示例代码

一、下载示例代码:

git clone https://github.com/melphi/spark-examples.git

从示例代码中可以看到 pox中引入了 Spark开发所需要的依赖。

二、把代码导入 IDE

IDE应该会识别这是 Maven项目,在IDE中打包:

打包后,在项目根目录中,target文件夹内会生成文件 first-example-1.0-SNAPSHOT.jar

运行该程序

命令为:
bin/spark-submit --class org.sparkexample.WordCount --master local[2] D:\first-example\target\spark-examples-1.0-SNAPSHOT.jar F:\test\input.txt F:\NJU\test\output

具体语法请见:http://spark.apache.org/docs/latest/submitting-applications.html

查看结果

F:\test\output\ 中能看到词频统计的结果

本文来源:https://github.com/melphi/spark-examples, 谢谢

posted @ 2015-11-27 03:31  Tong Zeng  阅读(2345)  评论(0编辑  收藏  举报