Spark远程集群实现
摘要：内容简介 本篇文章主要讲述了Springboot项目和Spark相结合的方法。 在Spark的学习过程中，我们大多数提交作业的方式都是使用Spark的命令来提交jar包并运行，但是本次相反，我们将使用Springboot来开发Spark的相关计算任务代码，开发完成后将项目打包部署到服务器上，项目启动
阅读全文
posted @
2022-12-20 22:34
吹静静
阅读(281)
推荐(0) 编辑
Spark修改spark-shell启动LOGO
摘要：修改源码：package org.apache.spark.repl.SparkILoop第29行： 将源码包打包 ./dev/make-distribution.sh --name 2.6.0-cdh5.16.2 --tgz -Phive -Phive-thriftserver -Pyarn -P
阅读全文
posted @
2021-04-19 21:24
吹静静
阅读(163)
推荐(0) 编辑
Spark-3.1.1编译流程及踩坑记录
摘要：基础环境 流程概述 此次编译过程是将Spark-3.1.1源码包下载到Windows本机，使用maven编译，编译完成后导入IDEA运行，连接Linux端hive做SQL操作。 软件版本 Linux端： hadoop-2.6.0-cdh5.16.2 apache-hive-3.1.2-bin Win
阅读全文
posted @
2021-04-15 10:59
吹静静
阅读(3871)
推荐(0) 编辑
管理
