随笔分类 - spark

挑战全网比较全的spark求topN的思路（java、scala）

摘要：java版本: 1、自定义实现排序key，实现Ordered接口，根据指定的排序条件，重写compare 、less、greater等方法，封装多个字段进行排序; // 代码示例其中CategorySortKey为自定义的key JavaPairRDD<CategorySortKey, String 阅读全文

posted @ 2022-07-03 23:59 杰然不同2019 阅读(442) 评论(0) 推荐(0) 编辑

spark中代码的执行位置（Driver or Executer）

摘要：什么计算运行在executor，什么算子运行在driver？（1）、foreachRdd运行在driver节点，因为它是操作dstream的。foreachPartition和foreach运行在worker节点，因为它是操作rdd的。foreachRdd开启对任务的启动，当执行到执行算子的时候开阅读全文

posted @ 2022-06-13 17:07 杰然不同2019 阅读(660) 评论(0) 推荐(0) 编辑

随笔分类 - spark

公告