会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
zhangmingmkzj
Powered by
博客园
博客园
|
首页
|
新随笔
|
联系
|
订阅
|
管理
2024年1月30日
1.30学习进度
摘要: .catalyst优化点 谓词下推、断言下推:讲逻辑判断提前到前面,以减少shuffle阶段的数据量 列值裁剪:将加载的列进行裁剪,尽量减少被处理数据的密度3.sparksql的执行流程 提交sparksql代码 catalyst优化 drive执行环境入口搭建 DAG调度器规划逻辑任务 task调
阅读全文
posted @ 2024-01-30 17:36 zhangmingmingkjz
阅读(1)
评论(0)
推荐(0)
编辑