摘要: 这个是我在网上搬的: 原博客地址为:https://blog.csdn.net/xwc35047/article/details/78732738 上图是client以spark-submit形式提交作业后,从作业DAG划分、stage提交、taskSet提交,到task执行过程。步骤图上已经画出来 阅读全文
posted @ 2018-11-05 20:20 董秀才 阅读(2060) 评论(0) 推荐(0) 编辑
摘要: spark是基于scala写的,虽然spark有java API,或者python API,但是scala算是正统吧。 而且scala的语法书写起来十分的爽,不想java那样笨重,python不太了解,不给予评价。 接下来看下spark版的wordcount,相对与hadoop的mapreduce要 阅读全文
posted @ 2018-11-05 19:58 董秀才 阅读(339) 评论(0) 推荐(0) 编辑
摘要: scala的语法写起来是非常的舒服的,相比java来说,简便许多。而Java在scala面前就显的略微有些笨重了。 接下来我们看一下scala版的wordcount 相比java 要简便许多 阅读全文
posted @ 2018-11-05 19:53 董秀才 阅读(3217) 评论(0) 推荐(1) 编辑