1 相关介绍
jupyter notebook是一个Web应用程序，允许你创建和分享，包含活的代码，方程的文件，可视化和解释性文字。用途包括：数据的清洗和转换、数值模拟、统计建模、机器学习和更多。支持40多中语言。python ，R，go，scala等。
Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。
Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。
尽管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 Hadoop 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发，可用来构建大型的、低延迟的数据分析应用程序。
大致了解后，就开始看看怎么搭建这样一个集成的环境吧。
2 安装步骤
安装之前保证环境有java环境。输入命令java -version和javac验证
2.1 安装anaconda
anacnda带有ipython和jupyter notebook
下载完成后是一个.sh文件。执行bash Anaconda2-4.1.0-Linux-x86_64.sh进行安装。默认的安装路径是/User/anaconda2/,当然也可以修改安装目录。
安装完成后添加相应的PATH路径。
jupyter kernelspec list
查看jupyter已经安装的kernel有
jupyter notebook --ip=125.65.45.180 --no-browser
开启jupyter notebook服务，ip一般指定机器自己的ip。端口默认情况下是8888或者8889，我这里是8889。也可以自己指定。
开启后在browser输入 http://testland.orientsoft.cn:8889/tree#
机器名称换成自己指定的ip
会出现页面
说明jupyter notebook安装完成
2.2 安装scala kernel
解压
xz -d jupyter-scala_2.10.5-0.2.0-SNAPSHOT.tar.xz
tar xvf jupyter-scala_2.10.5-0.2.0-SNAPSHOT.tar
安装
cd jupyter-scala_2.10.5-0.2.0-SNAPSHOT/bin
chmod u+x jupyter-scala
bash jupyter-scala
完成后会生成一个文件。这里请注意。后面配置hi会用到
Generated /home/student/.ipython/kernels/scala210/kernel.json
验证
jupyter kernelspec list
说明scala kernel安装完成
2.3 安装spark
解压
tar xvf spark-1.5.1-bin-hadoop2.6.tgz
加压后需要设置一个环境变量
在你相应的/user/.bash_rc中添加
export SPARK_HOME="..../spark-1.5.1-bin-hadoop2.6:$PATH"
即添加你解压spark后的目录。
2.4 将spark(python版)环境加入python notebook。
在目录$user/.ipython/profile_spark/startup下面新建notebook启动文件00-first.py，文件内容如下：
import os
import sys
# Configure the environment
if 'SPARK_HOME' not in os.environ:
os.environ['SPARK_HOME'] = '/home/student/wp/envi/spark-1.5.1-bin-hadoop2.6'
# Create a variable for our root path
SPARK_HOME = os.environ['SPARK_HOME']
# Add the PySpark/py4j to the Python Path
sys.path.insert(0, os.path.join(SPARK_HOME, "python", "build"))
sys.path.insert(0, os.path.join(SPARK_HOME, "python"))
可以用此配置文件启动notebook:
jupyter notebook --config=00-first.py --no-browser --ip=自己的ip。
这样新建python文件就可以使用spark环境了。
以下主要是安装scala版本的notebook spark
2.5 安装sbt（simple build tools）
因为wget后的文件名称过长，所以我的命令是：
wget -O sbt-0.13.11.tgz -b https://dl.bintray.com/sbt/native-packages/sbt/0.13.11/sbt-0.13.11.tgz
下载完成后，配置相关PATH路径，命令sbt sbt-version验证。执行这个命令后，，就耐心等待吧，很久很久。。。。。。。因为要下载很多jar包。
出现
说明sbt安装完成
2.6 下载incubator（编译spark kernel）
git clone https://github.com/apache/incubator-toree.git
2.7 编译spark kernel
注意使用incubator编译spark kernel之前，请确保sbt正确安装。
cd 到你解压后的incubator-toree目录。里面有Makefile文件
执行
make build
进行编译（耐心等待吧，很久很久。最好去睡个午觉。。。。。。）
等到出现这个：
说明编译成功
接下来： make dist
cd dis/toree/bin
记住这个run.sh路径
cd到你的User/.ipython/kernels。如果这个目录下面没有spark，新建spark目录，然后在spark目录下面新建文件vim kernel.json
kernel.json内容为
{
"display_name": "Spark 1.5.1 (Scala 2.10.4)",
"lauguage_info": {"name": "scala"},
"argv": [
//这里改成你自己的目录，就是上面的run.sh 的路径
"/Users/zhangsan/anaconda3/incubator-toree/dist/toree/bin/run.sh",
"--profile",
"{connection_file}"
],
"codemirror_mode": "scala",
"env": {
"SPARK_OPTS": "--master=local[2] --driver-java-options=-Xms1024M --driver-java-options=-Xms4096M --driver-java-options=-Dlog4j.logLevel=info",
"MAX_INTERPRETER_THREADS": "16",
"CAPTURE_STANDARD_OUT": "true",
"CAPTURE_STANDARD_ERR": "true",
"SEND_EMPTY_OUTPUT": "false",
//这里改成你自己的目录
"SPARK_HOME": "/Users/zhangsan/Documents/spark-1.5.1-bin-hadoop2.6",
//这里改成你自己的目录
"PYTHONPATH": "/Users/zhangsan/Documents/spark-1.5.1-bin-hadoop2.6/python:/Users/zhangsan/Documents/spark-1.5.1-bin-hadoop2.6/python/lib/py4j-0.8.2.1-src.zip"
}
}
注意上面有3处需要改成你自己的目录值。。
此时执行jupyter kernelspec list；
2.8开启notebook服务
浏览器中：
到此基本完成全部安装
