12 2023 档案

[spark] coalesce() 和 repartition()的区别
摘要：coalesce(1) 的主要作用是将数据合并到尽可能少的分区中，而 repartition(1) 则是将数据随机重分区为一个分区。这使得 coalesce(1) 相对而言更加高效，因为它减少了数据移动的次数，只需要在当前 Executor 上将所有分区的数据都收集到当前应用程序的单个 Execut 阅读全文
posted @ 2023-12-13 10:03 蛇啊蛇啊 阅读(275) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示