【Spark】---- 在Linux集群上安装和配置Spark
摘要：1 安装JDK1） 进入JDK官网2） 下载JDK安装包3）配置环境变量，在/etc/profile增加以下代码JAVA_HOME=/home/hadoop/jdk1.6.0_38PATH=$JAVA_HOME/bin:$PATHCLASSPATH=.:$JAVA_HOME/jre/lib/rt.j...
阅读全文
posted @
2015-01-28 10:15
刀锋诚心
阅读(2493)
推荐(4) 编辑
【Spark】---- Spark 硬件配置
摘要：存储系统Spark任务需要从一些外部的存储系统加载数据（如：HDFS 或者 HBase），重要的是存储系统要接近Spark系统，我们有如下推荐：（1）如果可能，运行Spark在相同的HDFS节点，最简单的方法是建立一个引发相同的节点上的集群独立模式（http://spark.apache.org/d...
阅读全文
posted @
2015-01-11 20:37
刀锋诚心
阅读(1738)
推荐(0) 编辑
【Spark】----Spark on Yarn
摘要：最近从Hadoop 1.x 转到Hadoop 2.x 同时将一些java 程序转为Scala的程序将平台上的代码减少了很多，在实施的过程中，开到一些Spark相关的YARN的部署上都是基于之前的Hadoop 1.x的部分方式，在Hadoop2.2 +版本之上 基本上就不用这么部署了。其原因就是Had...
阅读全文
posted @
2015-01-10 00:46
刀锋诚心
阅读(1561)
推荐(0) 编辑
