摘要: 使用Scala编写的程序需要使用sbt进行编译打包,相应的,Java程序使用 Maven编译打包,而 Python程序通过spark-submit直接提交 sbt编译打包: 1.安装sbt 下载sbt-launch.jar,拷贝到虚拟机中 2.穿件sbt脚本 创建 sbt 脚本(vim ./sbt) 阅读全文
posted @ 2022-01-23 21:45 风吹过半夏 阅读(168) 评论(0) 推荐(0) 编辑
摘要: 在spark shell中运行代码: Spark Shell 提供了简单的方式来学习Spark API Spark Shell可以以实时、交互的方式来分析数据 Spark Shell支持Scala和Python 一个Driver就包括main方法和分布式集群 Spark Shell本身就是一个Dri 阅读全文
posted @ 2022-01-23 16:25 风吹过半夏 阅读(136) 评论(0) 推荐(0) 编辑
摘要: 1.下载安装文件: Spark安装包下载地址: http://spark.apache.org 进入下载页面后,点击主页右侧的“Download Spark”按钮进入下载页面,下载页面中提供了几个下载选项,主要是Spark release及Package type的选择,如下图所示。第1项Spark 阅读全文
posted @ 2022-01-23 11:45 风吹过半夏 阅读(214) 评论(0) 推荐(0) 编辑