2014年9月28日

scala for spark

摘要： 写了点scala的内容，方便看spark源码，估计一两天就能看完，内容比较粗浅。 下载地址： http://download.csdn.net/detail/lsshlsw/7983541 阅读全文

posted @ 2014-09-28 08:28 毛小娃 阅读(154) 评论(0) 推荐(0) 编辑

Spark源码编译

摘要： 为什么需要编译？ 因为不同版本的HDFS在协议上是不兼容的，所以如果你想用你的Spark从HDFS上读取数据，那么你就的选择相应版本的HDFS来编译Spark，这个可以在编译的时候通过设置hadoop.version来选择，默认情况下，Spark默认为编译成Hadoop 1.0.... 阅读全文

posted @ 2014-09-28 08:10 毛小娃 阅读(118) 评论(0) 推荐(0) 编辑

导航