摘要：
Spark On YARN内存分配 Spark On YARN内存分配 本文主要了解Spark On YARN部署模式下的内存分配情况，因为没有深入研究Spark的源代码，所以只能根据日志去看相关的源代码，从而了解“为什么会这样，为什么会那样”。 说明 按照Spark应用程序中的driver分布方式 阅读全文
摘要：
稍微有点mapreduce使用经验的同学肯定对OOM不陌生，对的，我目前在mapReduce里面遇到的最多的报错也是内存分配出错，所以看到好多hadoop执行脚本里面有好多关于内存的参数，虽然是知道和内存分配有关系，但是我依然不太清楚具体的原理，从网上查阅相关资料，看到博主整理的，甚是欣慰，稍作整理 阅读全文
摘要：
问题描述 在测试spark on yarn时，发现一些内存分配上的问题，具体如下。 在$SPARK_HOME/conf/spark-env.sh中配置如下参数： SPARK_EXECUTOR_INSTANCES=4 在yarn集群中启动的executor进程数 SPARK_EXECUTOR_MEMO 阅读全文