2014 年 2月 21 日随笔档案 - littlesuccess

公告

2014年2月21日

在standalone模式下运行yarn 0.9.0对HDFS上的数据进行计算

摘要： 1.通读http://spark.incubator.apache.org/docs/latest/spark-standalone.html2.在每台机器上将spark安装到/opt/spark3.在第一台机器上启动spark master.[root@jfp3-1 latest]# ./sbin/start-master.sh在logs目录查看日志:[root@jfp3-1 latest]# tail -100f logs/spark-root-org.apache.spark.deploy.master.Master-1-jfp3-1.out Spark Command: /usr/ja 阅读全文

posted @ 2014-02-21 13:30 littlesuccess 阅读(1435) 评论(0) 推荐(0) 编辑

yarn 0.9.0 build spark

摘要： 1. 下载scala并安装。版本为2.10.3。设置SCALA_HOME和PATH环境变量2. 下载SPARK 0.9.0源代码并解压到/root/Downloads/spark-0.9.0-incubatinghttp://www.apache.org/dyn/closer.cgi/incubator/spark/spark-0.9.0-incubating/spark-0.9.0-incubating.tgz注意，也可以下载已经编译好的包。见：http://www.apache.org/dyn/closer.cgi/incubator/spark/spark-0.9.0-incubatin 阅读全文

posted @ 2014-02-21 09:36 littlesuccess 阅读(368) 评论(0) 推荐(0) 编辑