2014年4月1日

spark--运行于yarn架构【3】

摘要： 版本支持spark在0.6引入对yarn的支持，0.7、0.8版本有了进一步的改善Building a YARN-Enabled Assembly JAR需要添加对spark的jar才能在yarn中运行spark的job。需要在编译生成工具的环境添加入如下的环境变量：SPARK_HADOOP_VER... 阅读全文

posted @ 2014-04-01 15:57 AI001 阅读(303) 评论(0) 推荐(0) 编辑

spark--spark9.0安装【1】

摘要： spark：Spark是下一代In Memory MR计算框架，性能上有数量级提升，同时支持Interactive Query、流计算、图计算等。支持java、scala适用范围：1.高性能机器学习2.即时计算下载：http://spark.apache.org/downloads.html安装：s... 阅读全文

posted @ 2014-04-01 10:07 AI001 阅读(182) 评论(0) 推荐(0) 编辑

导航