windows10 安装spark， .net core 创建 spark 程序

windows10 安装spark （英文URL）

1、安装java8，配置环境变量

JRE：https://java.com/en/download/.

JDK：https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html （下载这个）

 

 

 2、安装python，配置环境变量

下载： https://www.python.org/

 

 

 3、安装Spark

下载： https://spark.apache.org/downloads.html.

添加Hadoop，windows使用 winutils.exe 这个文件

克隆： https://github.com/steveloughran/winutils  代码仓库到本地，

复制hadoop-3.0.0里面的bin目录到D:\hadoop目录

4、配置环境变量

• 配置Spark环境变量：

•  配置Hadoop环境变量：

 

• PATH变量增加Spark，Hadoop环境变量

 

•  设置Spark本地主机名的环境变量：SPARK_LOCAL_HOSTNAME = localhost

查看Spark是否安装成功（参考微软官方的URL）

spark-submit --version

5、 运行Spark

spark-shell

 

Install .NET for Apache Spark（参考微软官方的URL）

setx DOTNET_WORKER_DIR "D:\spark\Microsoft.Spark.Worker-1.0.0"

 

 等同于：

 VS创建HelloSpark项目

 

input.txt文件内容

Hello World
This .NET app uses .NET for Apache Spark
This .NET app counts words with Apache Spark

编译

dotnet build

运行

%SPARK_HOME%\bin\spark-submit --class org.apache.spark.deploy.dotnet.DotnetRunner --master local bin\Debug\netcoreapp3.1\microsoft-spark-3-0_2.12-1.0.0.jar dotnet bin\Debug\netcoreapp3.1\HelloSpark.dll

 运行结果：