搭建spark中需要注意的问题

在搭建spark的过程中遇到了许多的问题,但是引起这些问题的原因都是因为环境变量没有设置好导致的,这里总结的一些优秀的博文,可以供以后参考

http://www.powerxing.com/install-hadoop/   搭建hadoop单机伪分布式

http://www.powerxing.com/install-hadoop-cluster/ 搭建hadoop 分布式集群

在搭建hadoop的过程中,在运行的时候出现了ssh报错的问题,解决办法 http://blog.csdn.net/sunflower_cao/article/details/38513839

spark 的集群搭建 有两个比较优秀的博客

  http://blog.csdn.net/zwx19921215/article/details/41821147

  http://wuchong.me/blog/2015/04/04/spark-on-yarn-cluster-deploy/

总的来说搭建集群需要对linux的环境变量设置正确,这是重点,也是难点

最后附上linux的环境变量的解析

http://www.powerxing.com/linux-environment-variable/

posted @ 2015-11-16 09:31  xiaoli2018  阅读(404)  评论(0编辑  收藏  举报