spark小技巧－mapPartitions
摘要：
与map方法类似，map是对rdd中的每一个元素进行操作，而mapPartitions(foreachPartition)则是对rdd中的每个分区的迭代器进行操作。如果在map过程中需要频繁创建额外的对象(例如将rdd中的数据通过jdbc写入数据库,map需要为每个元素创建一个链接... 阅读全文
posted @ 2015-09-21 16:03 张云临 阅读(1086) 评论(0) 推荐(0) 编辑
