摘要: 在集群上运行Spark应用的详细过程: (1)用户通过spark-submit脚本提交应用 (2)spark-submit脚本启动驱动器程序,调用用户定义的main()方法 (3)驱动器程序与集群管理器通信,申请资源以启动执行器节点 (4)集群管理器为驱动器程序启动执行器节点 (5)驱动器进程执行用 阅读全文
posted @ 2017-07-04 11:57 reedom1991 阅读(212) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2017-07-04 10:19 reedom1991 阅读(87) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2017-07-04 09:57 reedom1991 阅读(92) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2017-07-04 09:54 reedom1991 阅读(112) 评论(0) 推荐(0) 编辑
摘要: 对一个数据为{1,2,3,3}的RDD进行基本的RDD行动操作: 阅读全文
posted @ 2017-07-04 09:27 reedom1991 阅读(148) 评论(0) 推荐(0) 编辑
摘要: 对数据分别为{1, 2, 3}和{3, 4, 5}的RDD进行针对两个RDD的转化操作: 1: val example1 = sc.parallelize(List(1, 2, 3)) val example2 = sc.parallelize(List(3, 4, 5)) val result = 阅读全文
posted @ 2017-07-04 08:47 reedom1991 阅读(442) 评论(0) 推荐(0) 编辑
摘要: 对一个数据为{1,2,3,4}的RDD进行基本的RDD转化操作: 下面用scala语言进行实现: 1:val example = sc.parallelize(List(1, 2, 3, 3)) val result = example.map(x => x+1) println(result.co 阅读全文
posted @ 2017-07-04 08:39 reedom1991 阅读(270) 评论(0) 推荐(0) 编辑