摘要: 通过一个简单的单词计数的例子来开始介绍RDD编程。 使用Scala语言,IDE使用IntelliJ IDEA 。在IDEA上运行Spark应用需要添加Maven依赖。 运行结果: 运行Spark应用,首先需要导入Spark包,这里使用Maven来连接公共仓库中的Spark包。 接下来创建一个Spar 阅读全文
posted @ 2017-09-14 16:04 Easen.Cai 阅读(701) 评论(0) 推荐(0) 编辑
摘要: Spark是一个用来实现快速而通用的集群计算的平台。 Spark项目包含多个紧密集成的组件。Spark的核心是一个对由很多计算任务组成的,运行在多个工作机器或者是一个计算集群上的应用进行调度,分发以及监控的计算引擎。Sark核心引擎有着速度快和通用的特点,因此Spark支持为各种不同应用场景专门设计 阅读全文
posted @ 2017-09-14 10:43 Easen.Cai 阅读(1020) 评论(0) 推荐(0) 编辑