2016年10月12日
Spark程序排错
摘要： 1.shuffle相关 报错提示 org.apache.spark.shuffle.MetadataFetchFailedException: Missing an output location for shuffle 0 org.apache.spark.shuffle.FetchFailedException: Failed to connect to hostname/192.... 阅读全文
posted @ 2016-10-12 14:21 熊猫太郎 阅读(1199) 评论(0) 推荐(0) 编辑
Spark程序优化
摘要： 1.gc时间过长 在spark ui上的现象是时间过长且gc的时间比较长，现象截图如下： 原理分析 日常使用中，我们通过spark.executor.memory来控制一个executor最多可以使用的内存大小，实际上是通过设置Executor的JVM的Heap大小实现的。 Executor的内存界 阅读全文
posted @ 2016-10-12 11:08 熊猫太郎 阅读(558) 评论(0) 推荐(0) 编辑