spark快速入门之最简配置 spark 1.5.2 hadoop 2.7 配置

配置的伪分布式，ubuntu14.04上

先配置hadoop，参见这个博客，讲的很好  

http://www.powerxing.com/install-hadoop/，

但是我在配的过程中还是遇到了问题：

问题1：设置免登录的时候，虽然是按步骤做的，但ssh localhost测试，总是提示要输入密码。这个博客说的比较清楚：http://blog.csdn.net/budapest/article/details/8022926

解决办法：chmod 600 authorized_keys

问题2：在运行hadoop例子的过程中，提示找不到java_home的路径，虽然我在全局已经配置了，但是貌似这个是找hadoop的配置文件

解决办法：找到 /usr/local/hadoop/etc/hadoop 目录下的 hadoop-env.sh，最末尾加上JAVA_HOME的路径

 

配置完hadoop ，接下来配置spark

参见博客：http://bit1129.iteye.com/blog/2171761

1.这个博客里提到的hadoop.master 对应的ip 是在 /etc/hosts 文件中配置对应关系

2.运行spark前，需要先启动hadoop。如图：

步骤一：

 

步骤二：

 

然后运行shell就好了