搭建spark中需要注意的问题
在搭建spark的过程中遇到了许多的问题,但是引起这些问题的原因都是因为环境变量没有设置好导致的,这里总结的一些优秀的博文,可以供以后参考
http://www.powerxing.com/install-hadoop/ 搭建hadoop单机伪分布式
http://www.powerxing.com/install-hadoop-cluster/ 搭建hadoop 分布式集群
在搭建hadoop的过程中,在运行的时候出现了ssh报错的问题,解决办法 http://blog.csdn.net/sunflower_cao/article/details/38513839
spark 的集群搭建 有两个比较优秀的博客
http://blog.csdn.net/zwx19921215/article/details/41821147
http://wuchong.me/blog/2015/04/04/spark-on-yarn-cluster-deploy/
总的来说搭建集群需要对linux的环境变量设置正确,这是重点,也是难点
最后附上linux的环境变量的解析
http://www.powerxing.com/linux-environment-variable/
腾飞前的蛰伏