2019年7月29日
Spark基于自定义聚合函数实现【列转行、行转列】
摘要： 一.分析 Spark提供了非常丰富的算子，可以实现大部分的逻辑处理，例如，要实现行转列，可以用hiveContext中支持的concat_ws(',', collect_set('字段'))实现。但是这有明显的局限性【sqlContext不支持】，因此，基于编码逻辑或自定义聚合函数实现相同的逻辑就显 阅读全文
posted @ 2019-07-29 21:19 云山之巅 阅读(3070) 评论(0) 推荐(0) 编辑