pyspark 中启动 jupyter notebook

还是打算选择python学习spark编程

因为java写函数式比较复杂，scala学习曲线比较陡峭，而且sbt和eclipse和maven的结合实在是让人崩溃，经常找不到主类去执行

python以前没用过但是名声在外，可以很方便的进行数据处理

在eclipse中集成pydev插件去编写python程序已经学习过了

今天使用了一下anaconda集成一起的python开发环境，感觉很不错

尤其是ipython notebook或者称为jupyter notebook很方便的进行可视化

但是如何在pyspark中启动呢

查了一些英文的文献都是在linux下的配置

ipython profile create spark

会创建一些启动需要的配置脚本，在脚本中进行设置之后

ipython notebook --profile spark

就可以在pyspark中启动notebook但是我没有配成功

后来看到一个简单的方法

直接在windows环境变量中增加两个pyspark启动时需要检查的变量即可将python解释环境转移到jupyter notebook

第一个变量是PYSPARK_DRIVER_PYTHON：jupyter

 

另外一个变量是PYSPARK_DRIVER_PYTHON_OPTS：notebook

这样从命令行启动的话（双击启动不行）就可以打开一个web服务在notebook中的py脚本就可以运行在spark上了

 

参考文献：

http://www.cnblogs.com/NaughtyBaby/p/5469469.html
http://blog.csdn.net/sadfasdgaaaasdfa/article/details/47090513
http://blog.cloudera.com/blog/2014/08/how-to-use-ipython-notebook-with-apache-spark/

Spark机器学习 by Nick Pentreath