2015 年 6月 30 日随笔档案 - Captain_Lucky

2015年6月30日

摘要：在所有的NodeManager中，修改yarn-site.xml，为yarn.nodemanager.aux-services添加spark_shuffle值，并设置yarn.nodemanager.aux-services.spark_shuffle.class值为org.apache.spark... 阅读全文

posted @ 2015-06-30 16:11 Captain_Lucky 阅读(1119) 评论(0) 推荐(0) 编辑

yarn logs -applicationId [applicationID]

摘要： yarn logs -applicationId application_1435648583743_0001报错：tmp/logs/.../application_1435648583743_0001 does not exist解决：yarn-site.xml中添加：yarn.log-aggre... 阅读全文

posted @ 2015-06-30 15:25 Captain_Lucky 阅读(2082) 评论(0) 推荐(0) 编辑

yarn-site.xml

摘要：要保证spark on yarn的稳定性，避免报错，就必须保证正确的配置，尤其是yarn-site.xml。首先来理解一下yarn-site.xml各个参数的意义（引自董的博客）注：下面...中的hadoop001都是我为${yarn.resourcemanager.hostname}自定义的名字R... 阅读全文

posted @ 2015-06-30 14:12 Captain_Lucky 阅读(6253) 评论(0) 推荐(0) 编辑

Spark SQL on Yarn-Cluster

摘要： Spark SQL 或者Hive SQL在yarn-client模式下运行正常，但是在yarn-cluster模式下总是报 status failed错误，需要把$SPARK_HOME/lib/spark-1.4.0-yarn-shuffle.jar复制到$HADOOP_HOME/share/had... 阅读全文

posted @ 2015-06-30 13:26 Captain_Lucky 阅读(1352) 评论(1) 推荐(0) 编辑

Captain_Lucky

公告