Centos下安装Spark

（注：由于第一次安装操作失误，所以重新安装了，因此截图为第一次的截图，命令为第二次安装的命令）

(注：图是本人安装所截图，本人安装参考网址：https://www.cnblogs.com/shaosks/p/9242536.html)

1、下载压缩包

命令：wget https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz

2、解压压缩包

命令：tar -xzvf scala-2.11.8.tgz

3、文件配置

环境配置如下：复制自己所需内容即可

export JAVA_HOME=/opt/java/jdk1.8.0_301
export HADOOP_HOME=/opt/Hadoop/hadoop-2.7.3
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
export SPARK_HOME=/opt/spark/spark-2.1.0-bin-hadoop2.6
export SCALA_HOME=/opt/scala/scala-2.11.8
export CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/
export PATH=.:${JAVA_HOME}/bin:${HIVE_HOME}/bin:${HADOOP_HOME}/bin:/opt/mongodb/bin:${SPARK_HOME}/bin:${SCALA_HOME}/bin:$PATH
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native
export HIVE_HOME=/opt/hive/apache-hive-2.3.9-bin
export HIVE_CONF_DIR=${HIVE_HOME}/conf

 

4、启动Hadoop

 

5、启动Spark

命令（没有空格！！没有空格！！！没有空格！！！闷头查了半天bash，，，，）：spark-shell

6、启动报错

　　1、未启动Hadoop时，报错如下：

　　　　2、未修改log4j.properties前报错如下：

　　

　　修改log4j.properties：

　　　　进入conf文件夹下进行如下操作，如图：

[root@june spark]# cd spark-2.1.0-bin-hadoop2.6/
[root@june spark-2.1.0-bin-hadoop2.6]# cd conf
[root@june conf]# ls
docker.properties.template  metrics.properties.template   spark-env.sh.template
fairscheduler.xml.template  slaves.template
log4j.properties.template   spark-defaults.conf.template
[root@june conf]#  cp log4j.properties.template log4j.properties
[root@june conf]# ls
docker.properties.template  metrics.properties.template
fairscheduler.xml.template  slaves.template
log4j.properties            spark-defaults.conf.template
log4j.properties.template   spark-env.sh.template
[root@june conf]# vim log4j.properties

 

　　

找到下图位置修改，修改完后如图：

　　

__EOF__

本文作者：往心。
本文链接：https://www.cnblogs.com/lx06/p/15793593.html
关于博主：评论和私信会在第一时间回复。或者直接私信我。
版权声明：本博客转载请注明出处！
声援博主：如果您觉得文章对您有帮助，可以点击文章右下角【推荐】一下。您的鼓励是博主的最大动力！