大数据课上用spark

九、 安装 Spark Spark
1. 以 hadoop 用户登录云服务器。
2. 预备工作：下载 spark 和 scala 安装包到本地目录 /home/hadoop/ 中。
$cd (回到 Home 目录 )
$scp hadoop@10.144.10.22:/home/hadoop/scala-2.11.8.tar.gz /home/hadoop/
$scp hadoop@10.144.10.22:/home/hadoop/spark-2.0.1-bin-hadoop2.7.tgz /home/hadoop/
3. 解压 scala 和 spark 安装包。
$tar -zxvf scala-2.11.8.tar.gz
$tar -zxvf spark-2.0.1-bin-hadoop2.7.tgz
4. 将解压出的文件夹改名为 scala 和 spark, 并迁移至 /usr/local 目录。
$sudo mv scala-2.11.8 /usr/local/scala
$sudo mv spark-2.0.1-bin-hadoop2.7 /usr/local/spark
5. 进入 spark 配置目录，修改参数。
$cd /usr/local/spark/conf
$cp spark-env.sh.template spark-env.sh
$cp slaves.template slaves
修改 slaves 文件，加入与 hadoop slaves 文件相同的 slave 节点地址。
-------------------------------------------------------
6. 把 master 服务器的 scala 和 spark 目录复制到 slave1 和 slave2 服务器上。
$cd /usr/local
$scp -r scala slave1:/home/hadoop/
$scp -r spark slave1:/home/hadoop/
$scp -r scala slave2:/home/hadoop/
$scp -r spark slave2:/home/hadoop/
7. 切换至 slave1 和 slave2 服务器，把 scala 和 spark 目录迁移至 /usr/local/
(slave1)$sudo mv /home/hadoop/scala /usr/local/
(slave1)$sudo mv /home/hadoop/spark /usr/local/
(slave2)$sudo mv /home/hadoop/scala /usr/local/
(slave2)$sudo mv /home/hadoop/spark /usr/local/
8. 回到 master 服务器， 运行 spark 。
$cd /usr/local/spark cd /usr/local/sparkcd /usr/local/sparkcd /usr/local/sparkcd /usr/local/spark cd /usr/local/sparkcd /usr/local/sparkcd /usr/local/spark cd /usr/local/sparkcd /usr/local/sparkcd /usr/local/spark cd /usr/local/sparkcd /usr/local/spark
$sbin/start sbin/startsbin/startsbin/startsbin/start sbin/startsbin/start -all.shall.shall.shall.shall.sh