摘要：
本文转自:http://blog.sina.com.cn/s/blog_15126e2170102w5o8.html 一、JDK的安装与配置 1、从官网下载jdk，注意是jdk不是jre。最好从官网下载，也可以直接度娘。 2、下载完毕后，安装jdk，直接按照安装向导的提示安装即可，安装时可以自己选 阅读全文
摘要：
本文转自：http://www.cnblogs.com/Scott007/p/3889959.html 1 概述 Spark的on Yarn模式，其资源分配是交给Yarn的ResourceManager来进行管理的，但是目前的Spark版本，Application日志的查看，只能通过Yarn的yar 阅读全文
摘要：
本文转自：http://www.itweet.cn/2015/07/24/yarn-resources-manager-allocation/ Hadoop YARN同时支持内存和CPU两种资源的调度（默认只支持内存，如果想进一步调度CPU，需要自己进行一些配置），本文将介绍YARN是如何对这些资源 阅读全文
摘要：
问题一 解决方法：表面上看是因为shuffle没有地方写了，如果后面的stack是local space 的问题，那么清一下磁盘就好了。上面这种问题，是因为一个excutor给分配的内存不够，此时，减少excutor-core的数量，加大excutor-memory的值应该就没有问题。 问题二 解决 阅读全文