2015年5月14日
Spark源码编译（未完待续）
摘要： 在这里我们不需要搭建独立的Spark集群，利用Yarn Client调用Hadoop集群的计算资源。Spark源码编译生成配置包：解压源码，在根去根目录下执行以下命令(sbt编译我没尝试) ./make-distribution.sh --hadoop 2.4.0 --with-yarn --t... 阅读全文
posted @ 2015-05-14 15:57 晋心 阅读(256) 评论(0) 推荐(0) 编辑
Spark第一个应用程序
摘要： 首先要对源码进行编译，生成对应hadoop版本的spark开发程序jar包，上篇已经写了具体的过程，这里不再赘述。在安装spark的机器上，下载eclipse-java-x86_64版本，将spark-assembly.jar和spark/lib下全部加进路径，建立普通java projectWor... 阅读全文
posted @ 2015-05-14 15:46 晋心 阅读(883) 评论(0) 推荐(0) 编辑