2016 年 8月 29 日随笔档案 - 单行道|

2016年8月29日

Windows下IntelliJ IDEA中运行Spark Standalone

摘要：前提条件： 1、Spark Standalone 集群部署完成 2、Intellij Idea 能够运行 Spark local 模式的程序。源码：这里主要的思想还是将打包的jar提交到集群。使用.setJars方法阅读全文

posted @ 2016-08-29 17:57 单行道| 阅读(2353) 评论(0) 推荐(0) 编辑

摘要： RDD Resilient Distributed Datasets弹性分布式数据集 Spark revolves around the concept of a resilient distributed dataset (RDD), which is a fault-tolerant colle 阅读全文

posted @ 2016-08-29 10:18 单行道| 阅读(790) 评论(0) 推荐(0) 编辑