大数据spark的安装

用hadoop用户登录Linux系统，打开一个终端，执行如下命令：
$cd ~
$ sudo tar -zxvf ~/Downloads/spark-2.4.0-bin-without-hadoop.tgz -C /usr/local/
$ cd /usr/local
$ sudo mv ./spark-2.4.0-bin-without-hadoop/ ./spark
$ sudo chown -R hadoop:hadoop ./spark

安装文件解压缩以后，还需要修改Spark的配置文件spark-env.sh。首先，可
以复制一份由Spark安装文件自带的配置文件模板，命令如下：
$ cd /usr/local/spark
$ cp ./conf/spark-env.sh.template ./conf/spark-env.sh
然后，使用vim编辑器打开spark-env.sh文件进行编辑，在该文件的第一行
添加以下配置信息：
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
通过运行Spark自带的实例，可以验证Spark是否安装成功，命令如下：
$ cd /usr/local/spark
$ bin/run-example SparkPi

可以通过下面命令启动Spark Shell环境：
$ cd /usr/local/spark
$ ./bin/spark-shell
启动spark-shell后，就会进入“scala>”命令提示符状态

本周学习时长15小时

下周学习hive的操作。