2024 年 5月 4 日随笔档案 - 啦啦啦one

2024年5月4日

摘要： Hive On Spark 调优本篇博客将从hive on spark的SQL层面，来对任务做一些优化。下面的优化，从这几个方面来讲：Group、Join、并行度、小文件。 Group、Join $\color{ForestGreen}{小提示：}$ Group和Join的不同之处在于： Grou 阅读全文

posted @ 2024-05-04 16:47 啦啦啦one 阅读(50) 评论(0) 推荐(0) 编辑

Flink调优初次笔记

摘要：资源配置优化从1.11开始，增加了一个通用客户端模式，(-t yarn-job) TaskManager内存模型 Flink既使用堆内存，又使用堆外内存。指定进程内存 JVM metaspace:JVM元空间，默认256M JVM 执行内存：执行开销。有最小值和最大值。计算公式为：进程内存*0. 阅读全文

posted @ 2024-05-04 15:37 啦啦啦one 阅读(16) 评论(0) 推荐(0) 编辑

公告