windows10 安装spark, .net core 创建 spark 程序

windows10 安装spark (英文URL)

1、安装java8,配置环境变量

JRE:https://java.com/en/download/.

JDK:https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html (下载这个)

 

 

 2、安装python,配置环境变量

下载: https://www.python.org/

 

 

 3、安装Spark

下载: https://spark.apache.org/downloads.html.

添加Hadoop,windows使用 winutils.exe 这个文件

克隆: https://github.com/steveloughran/winutils  代码仓库到本地,

复制hadoop-3.0.0里面的bin目录到D:\hadoop目录

4、配置环境变量

  • 配置Spark环境变量:

  •  配置Hadoop环境变量:

 

  • PATH变量增加Spark,Hadoop环境变量

 

  •  设置Spark本地主机名的环境变量:SPARK_LOCAL_HOSTNAME = localhost

查看Spark是否安装成功(参考微软官方的URL)

spark-submit --version

5、 运行Spark

spark-shell

 

Install .NET for Apache Spark(参考微软官方的URL)

setx DOTNET_WORKER_DIR "D:\spark\Microsoft.Spark.Worker-1.0.0"

 

 等同于:

 VS创建HelloSpark项目

 

input.txt文件内容

Hello World
This .NET app uses .NET for Apache Spark
This .NET app counts words with Apache Spark

编译

dotnet build

运行

%SPARK_HOME%\bin\spark-submit --class org.apache.spark.deploy.dotnet.DotnetRunner --master local bin\Debug\netcoreapp3.1\microsoft-spark-3-0_2.12-1.0.0.jar dotnet bin\Debug\netcoreapp3.1\HelloSpark.dll

 运行结果:

 

 

 

 

posted @   —八戒—  阅读(500)  评论(0编辑  收藏  举报
编辑推荐:
· AI与.NET技术实操系列:基于图像分类模型对图像进行分类
· go语言实现终端里的倒计时
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
阅读排行:
· 分享一个免费、快速、无限量使用的满血 DeepSeek R1 模型,支持深度思考和联网搜索!
· 基于 Docker 搭建 FRP 内网穿透开源项目(很简单哒)
· ollama系列01:轻松3步本地部署deepseek,普通电脑可用
· 25岁的心里话
· 按钮权限的设计及实现
点击右上角即可分享
微信分享提示