简单记录下spark环境搭建时的几个小问题

折腾了好几天，终于可以在CenOS下用eclipse写spark程序了

当前环境是CentOS6.5,jdk7,scala2.10.4,spark0.9.1

 

前期因为对linux不熟悉的原因花了不少时间查阅命令。折腾了不少时间，终于把jdk8，scala2.11.0环境变量配置好了。在此环境下可以正常编译scala程序，但是在spark下运行sbt/sbt assembly时报了错误：rt.jar is broken。上google查了不少资料，大概是因为jdk8和jdk7之间的差异造成的，所以下载了jdk7重新配置了环境变量，问题解决。google上看到老外似乎有不替换jdk的解决方法，奈何自己的linux水平实在有点渣，只能选择更换jdk的方法。

这时运行了sbt/sbt assembly（强烈建议网速好时运行），经过了漫长的几个小时，终于导出了spark的jar包。将它导入早已下好的scala-eclipse后又试着运行了wordcount示例程序，好吧，又遇到一个问题。程序完全看不出错误，但是工程上一个醒目的红叉。终于无疑中阅读spark官方网站时看到了这样一句话，spark0.9.1支持scala2.10，如果用更高版本的scala则可能运行失败。接着我就下载了scala2.10.4版并重新替换环境变量。

但是eclipse仍然出错，仔细排查，发现eclipse-scala，我下的是2.11版，也就是说整合的是scala2.11.0这个版本。好吧，直接重下个2.10版，再倒入spark的jar包，终于无错。

 

总结：真是从新到旧的一次大替换，看来研究技术不能太追求“新”，要尽可能的选择稳定版本，这样才能少走很多弯路。