windows10 安装spark, .net core 创建 spark 程序
windows10 安装spark (英文URL)
1、安装java8,配置环境变量
JRE:https://java.com/en/download/.
JDK:https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html (下载这个)
2、安装python,配置环境变量
3、安装Spark
下载: https://spark.apache.org/downloads.html.
添加Hadoop,windows使用 winutils.exe 这个文件
克隆: https://github.com/steveloughran/winutils 代码仓库到本地,
复制hadoop-3.0.0里面的bin目录到D:\hadoop目录
4、配置环境变量
- 配置Spark环境变量:
- 配置Hadoop环境变量:
- PATH变量增加Spark,Hadoop环境变量
- 设置Spark本地主机名的环境变量:SPARK_LOCAL_HOSTNAME = localhost
查看Spark是否安装成功(参考微软官方的URL)
spark-submit --version
5、 运行Spark
spark-shell
Install .NET for Apache Spark(参考微软官方的URL)
setx DOTNET_WORKER_DIR "D:\spark\Microsoft.Spark.Worker-1.0.0"
等同于:
VS创建HelloSpark项目
input.txt文件内容
Hello World This .NET app uses .NET for Apache Spark This .NET app counts words with Apache Spark
编译
dotnet build
运行
%SPARK_HOME%\bin\spark-submit --class org.apache.spark.deploy.dotnet.DotnetRunner --master local bin\Debug\netcoreapp3.1\microsoft-spark-3-0_2.12-1.0.0.jar dotnet bin\Debug\netcoreapp3.1\HelloSpark.dll
运行结果:
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· AI与.NET技术实操系列:基于图像分类模型对图像进行分类
· go语言实现终端里的倒计时
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 分享一个免费、快速、无限量使用的满血 DeepSeek R1 模型,支持深度思考和联网搜索!
· 基于 Docker 搭建 FRP 内网穿透开源项目(很简单哒)
· ollama系列01:轻松3步本地部署deepseek,普通电脑可用
· 25岁的心里话
· 按钮权限的设计及实现