摘要: map、mapPartitions、mapValues、mapWith、flatMap、flatMapWith、flatMapValues map(function)map是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。 举 阅读全文
posted @ 2020-11-16 19:11 一路向北321 阅读(312) 评论(0) 推荐(0) 编辑
摘要: 以{1, 2, 3, 3}的RDD为例: 函数名 目的 示例 结果 map() 将函数应用于 RDD 中的每个元素,将返回值构成新的 RDD rdd.map(x => x + 1) {2, 3, 4, 4} flatMap() 将函数应用于 RDD 中的每个元素,将返回的迭代器的所有内容构成新的 R 阅读全文
posted @ 2020-11-16 15:57 一路向北321 阅读(317) 评论(0) 推荐(0) 编辑
摘要: 一、row_number() 1、语法: row_number() over (partition by col_list1 order by col_list2) rank() over(partition by col_list1 order by col_list2) 2、row_number 阅读全文
posted @ 2020-11-16 15:01 一路向北321 阅读(1632) 评论(0) 推荐(0) 编辑