2018 年 9月 29 日随笔档案 - 一只猪儿虫

2018年9月29日

摘要：语法是： combineByKey[C]( createCombiner: V => C, mergeValue: (C, V) => C, mergeCombiners: (C, C) => C ) 标记一下：（因为有很多同样的字母，方便说明我就按照字母+数字标记一下）语法说明：（不复制网上的，阅读全文

posted @ 2018-09-29 12:50 一只猪儿虫阅读(491) 评论(0) 推荐(0) 编辑

spark 中如何查看单个RDD分区的内容（创建分区，查看分区数）

摘要： spark 创建分区 val scores = Array(("Fred", 88), ("Fred", 95), ("Fred", 91), ("Wilma", 93), ("Wilma", 95), ("Wilma", 98)) val input = sc.parallelize(scores 阅读全文

posted @ 2018-09-29 11:53 一只猪儿虫阅读(1307) 评论(0) 推荐(0) 编辑