大数据spark的安装

用hadoop用户登录Linux系统,打开一个终端,执行如下命令:
$cd ~
$ sudo tar -zxvf ~/Downloads/spark-2.4.0-bin-without-hadoop.tgz -C /usr/local/
$ cd /usr/local
$ sudo mv ./spark-2.4.0-bin-without-hadoop/ ./spark
$ sudo chown -R hadoop:hadoop ./spark

安装文件解压缩以后,还需要修改Spark的配置文件spark-env.sh。首先,可
以复制一份由Spark安装文件自带的配置文件模板,命令如下:
$ cd /usr/local/spark
$ cp ./conf/spark-env.sh.template ./conf/spark-env.sh
然后,使用vim编辑器打开spark-env.sh文件进行编辑,在该文件的第一行
添加以下配置信息:
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
通过运行Spark自带的实例,可以验证Spark是否安装成功,命令如下:
$ cd /usr/local/spark
$ bin/run-example SparkPi

可以通过下面命令启动Spark Shell环境:
$ cd /usr/local/spark
$ ./bin/spark-shell
启动spark-shell后,就会进入“scala>”命令提示符状态

本周学习时长15小时

下周学习hive的操作。