Window7 上跑 Spark 单机模式
一、下载Spark
下载地址:http://www.eu.apache.org/dist/spark/spark-1.5.2/spark-1.5.2-bin-hadoop2.4.tgz
我这里测试这个地址最快,或者你可以去Spark的下载网站去试试别的链接:http://spark.apache.org/downloads.html
二、解压Spark安装包
例如我解压到了 E盘根目录,你可以自行放在任何目录:
三、安装 winutilis
这一条仅对没有在 window上安装 Hadoop 的情况,否则请跳过
-
下载地址:http://public-repo-1.hortonworks.com/hdp-win-alpha/winutils.exe
-
下载后,将其放在路径 D:\winutils\bin 下,如图:
-
添加环境变量 HADOOP_HOME,值设置为刚才的存放路径中bin的父目录,上面的例子中设置为, set HADOOP_HOME=D:\winutils, 操作步骤如图:
四、跑示例代码
-
打开 Spark解压后的目录,在空白处按住 ctrl+shift 同时鼠标右键,在弹出菜单中选择 “在此处打开命令窗口”
-
在命令行中输入:bin\run-example SparkPi 10,回车,测试代码应该就开始跑起来了
-
最后能看到结果
说明 Spark 能够跑起来了。
分类:
Linux
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· Linux系列:如何用 C#调用 C方法造成内存泄露
· AI与.NET技术实操系列(二):开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· 单线程的Redis速度为什么快?
· SQL Server 2025 AI相关能力初探
· 展开说说关于C#中ORM框架的用法!
· AI编程工具终极对决:字节Trae VS Cursor,谁才是开发者新宠?