2019年9月7日
SparkStreaming高级算子应用【combineByKey、transform，checkpoint】
摘要： 一.combineByKey算子简介 功能：实现分组自定义求和及计数。 特点：用于处理(key,value)类型的数据。 实现步骤： 1.对要处理的数据进行初始化，以及一些转化操作 2.检测key是否是首次处理，首次处理则添加，否则则进行分区内合并【根据自定义逻辑】 3.分组合并，返回结果 二.co 阅读全文
posted @ 2019-09-07 17:21 云山之巅 阅读(339) 评论(0) 推荐(0) 编辑