摘要：
在前面我们已经准备了三台服务器，并做好初始化，配置好jdk与免密登录等。并且已经安装好了hadoop集群。 如果还没有配置好的，参考我前面两篇博客： Spark集群环境搭建——服务器环境初始化：https://www.cnblogs.com/doublexi/p/15623436.html Spar 阅读全文
摘要：
Spark其实是Hadoop生态圈的一部分，需要用到Hadoop的HDFS、YARN等组件。为了方便我们的使用，Spark官方已经为我们将Hadoop与scala组件集成到spark里的安装包，解压开箱即可使用，给我们提供了很大的方便。如果我们只是本地学习的spark，又不想搭建复杂的hadoop集 阅读全文
摘要：
Spark也是属于Hadoop生态圈的一部分，需要用到Hadoop框架里的HDFS存储和YARN调度，可以用Spark来替换MR做分布式计算引擎。接下来，讲解一下spark集群环境的搭建部署。一、集群规划我们这里使用三台Linux服务器来搭建一个Spark集群。各个组件的分布规划如下： 二、服务器环 阅读全文