摘要：内容简介 本篇文章主要讲述了Springboot项目和Spark相结合的方法。 在Spark的学习过程中，我们大多数提交作业的方式都是使用Spark的命令来提交jar包并运行，但是本次相反，我们将使用Springboot来开发Spark的相关计算任务代码，开发完成后将项目打包部署到服务器上，项目启动 阅读全文

摘要：修改源码：package org.apache.spark.repl.SparkILoop第29行： 将源码包打包 ./dev/make-distribution.sh --name 2.6.0-cdh5.16.2 --tgz -Phive -Phive-thriftserver -Pyarn -P 阅读全文

摘要：基础环境 流程概述 此次编译过程是将Spark-3.1.1源码包下载到Windows本机，使用maven编译，编译完成后导入IDEA运行，连接Linux端hive做SQL操作。 软件版本 Linux端： hadoop-2.6.0-cdh5.16.2 apache-hive-3.1.2-bin Win 阅读全文