2015年4月25日
RDD分区2GB限制
摘要： 本文目的 最近使用spark处理较大的数据时，遇到了分区2G限制的问题(ken)。找到了解决方法，并且在网上收集了一些资料，记录在这里，作为备忘。 问题现象 遇到这个问题时，spark日志会报如下的日志， 片段1 15/04/16 14:13:03 WARN scheduler.TaskSetManager: Lost task 19.0 in stage 6.0 (TID 120, ... 阅读全文
posted @ 2015-04-25 16:22 bourneli 阅读(10107) 评论(0) 推荐(0) 编辑