2018年12月1日
四、spark集群架构
摘要： spark集群架构官方文档：http://spark.apache.org/docs/latest/cluster-overview.html 集群架构 我们先看这张图 这张图把spark架构拆分成了两块内容： 1）spark应用程序：即左边的DriverProgram这块; 2）spark 集群： 阅读全文
posted @ 2018-12-01 01:32 __lay 阅读(1551) 评论(0) 推荐(1) 编辑
三、spark简介
摘要： 一、简介 spark的官网：http://spark.apache.org/ spark解决了什么问题？ 我们都知道hadoop，hadoop以一个非常容易使用的编程模型解决了大数据的两大难题： 1）分布式存储hdfs； 2）分布式计算mapReduce； 但是hadoop也存在着一些问题，最主要的 阅读全文
posted @ 2018-12-01 00:42 __lay 阅读(479) 评论(0) 推荐(1) 编辑