八、window搭建spark + IDEA开发环境
本文将简单搭建一个spark的开发环境，如下：
1）操作系统：window os
2）IDEA开发工具以及scala插件（IDEA和插件版本要对应）：
2-1）IDEA2018.2.1：https://www.jetbrains.com/
2-2）scala-intellij-bin-2018.2.11.zip ：http://plugins.jetbrains.com/plugin/1347-scala
3）scala和Java语言的开发包（spark2.4.0对应的可用版本）：
5-1）scala2.11 https://www.scala-lang.org/download/2.11.12.html
5-2）JDK1.8 https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
4）spark开发包：spark2.4.0 http://spark.apache.org/downloads.html
我这里下载的是pre-built for apache hadoop 2.7 and later的类型，支持hadoop2.7+的版本
5）hadoop以及hadoop在window运行的工具包（hadoop和winutils版本要对应，winutils比较麻烦如果网上找不到对应的版本需要自己编译）：
4-1）hadoop3.1.1 https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz
4-2）winutils3.1.1 https://files.cnblogs.com/files/lay2017/apache-hadoop-3.1.1-winutils-master.zip
注意：spark开发环境对其相关依赖是有版本要求的
本文默认你已经安装好了IDEA并配置好scala，JDK环境
安装scala插件
file -> setting从硬盘安装
找到你下载的scala插件，安装并重启IDEA
安装hadoop环境
我们先把winutils的bin目录下的所有文件覆盖到hadoop的bin目录下，这样hadoop就能支持在windows上运行了。
然后我们把hadoop设置到系统环境变量中，如：
设置HADOOP_HOME
设置PATH
注意：设置hadoop环境变量需要重启计算机
搭建scala项目
我们直接搭建一个scala的IDEA项目
与一般的其它项目创建步骤一模一样，一步步填写下去
当项目搭建完毕，我们需要把spark的开发包引入项目；
从file -> project structure把spark的所有开发（整个jars文件夹）包引入到项目中；在spark2.0以后原先的一个独立开发包已经被拆分成了很多单独的小包，所以这里引入整个文件夹
这样我们就有了一个简单的spark程序结构，包括了spark包、JDK包、scala的包
测试代码
我们简单地使用wordCount程序来测试一下spark是否可用
首先，我们在src目录下新建一个cn.lay的文件目录，在该目录下我们建立一个WordCount.scala文件，编写如下代码：
package cn.lay import org.apache.spark.{SparkConf, SparkContext} /** * @Description 字数统计 * @Author lay * @Date 2018/12/03 22:46 */ object WordCount { def main(args: Array[String]): Unit = { // 创建SparkConf val conf = new SparkConf().setAppName("WordCount").setMaster("local"); // 创建SparkContext val sc = new SparkContext(conf); // 输入文件 val input = "C:\\Users\\admin\\Desktop\\word.txt"; // 计算频次 val count = sc.textFile(input).flatMap(x => x.split(" ")).map(x => (x, 1)).reduceByKey((x, y) => x + y); // 打印结果 count.foreach(x => println(x._1 + ":" + x._2)); // 结束 sc.stop() } }
代码解释：
任何spark程序都是以sparkContext对象开始的，因为它是spark程序的上下文和入口，所以我们先创建了一个sparkContext，初始化sparkContext需要一个sparkConf，它包含了spark集群的配置参数，其中setAppName设置程序名称，setMaster设置运行模式。
基于sparkContext去读取了本地文件word.txt，然后经过一系列的RDD计算，最后打印并关闭sparkContext
1）这里setMaster("local")意思是将spark运行在本地，这样我们就不用一个独立的spark集群，直接在本地开发环境运行spark；
当然你也可以不使用代码设置master，在run -> edit configurations 中添加VM参数也可以（它的作用是当你需要打包到spark集群提交时，不需要去修改代码），如图：
除了local以外，master还有几种选择如下：
1-1、local 单线程本地运行spark
1-2、local[K] K个线程本地运行spark
1-3、local[*] 根据机器逻辑内核设置线程数，本地运行spark
1-4、spark://HOST:PORT spark独立集群上运行，默认端口7077
1-5、mesos://HOST:PORT mesos集群上运行
1-6、yarn: yarn集群上运行，需要配置使用client或Cluster模式
1-7、yarn-client: 相当于yarn配置了--deploy-mode client
1-8、yarn-cluster: 相当于yarn配置了--deploy-mode cluster
2）而之前我们配置了hadoop的环境变量，就不用在程序中指定hadoop的根路径了，如果我们没有将hadoop配置为系统环境变量那么需要在代码中指明，如：
System.setProperty("hadoop.home.dir", "C:\Users\admin\Desktop\resources\package\apache\hadoop-3.1.1")
3）新建一个文件夹C:\\Users\\admin\\Desktop\\word.txt，文件内容如：
this is a word count demo
然后直接运行main方法，控制台输出如：
