摘要：一、下载sbt安装包 从sbt官网下载地址：https://www.scala-sbt.org/download.html 二、解压安装 tar -zxvf sbt-1.1.4.tgz # 解压 cd /usr/software/sbt/ # 进入解压目录 vim sbt # 新建一个名字为sbt的
阅读全文
posted @ 2022-01-15 19:47
随笔分类 - spark
scala
摘要：使用xsync脚本循环同步文件到各个目标节点的相同目录下（需要用户具有root权限或者直接使用root用户创建xsync）1.sudo创建xsync文件（root用户可直接创建） xsync脚本源码： #!/bin/bash#1. 判断参数个数if [ $# -lt 1 ]then echo Not
阅读全文
posted @ 2022-01-13 19:05
摘要：HDFS 常用操作 （1） 启动 Hadoop，在 HDFS 中创建用户目录“/user/hadoop”； 该命令中表示在HDFS中创建一个“/user/hadoop”目录，“–mkdir”是创建目录的操作，“-p”表示如果是多级目录，则父目录和子目录一起创建，这里“/user/hadoop”就是一
阅读全文
posted @ 2022-01-07 21:21
摘要：本地运行模式 1.将压缩包spark-3.0.0-bin-hadoop3.2.tgz上传到虚拟机中 2.上传完成后，解压缩到无中文无空格的目录当中 tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz 3.解压完之后，重命名文件夹mv spark-3.0.0-bin-had
阅读全文
posted @ 2022-01-06 22:03
摘要：假期准备学习spark，在B站上了解过spark后才明白学习spark之前需要先学习Scala 首先Spark是由Scala语言开发的，所以开发过程中也需要使用到Scala语言 在IDEA中配置Scala环境如下： 1.在IDEA中新建一个maven，命名为scala 2.点击File，打开sett
阅读全文
posted @ 2022-01-01 15:56
