计算引擎-Presto
概述
参考
高质量:
- B站:https://mp.weixin.qq.com/s/9_lSIFSw5o8sFC8foEtA7w
- https://mp.weixin.qq.com/s/NmTaJjE0UqYHh2Q4_HqSog
- meta实践Prestissimo:https://mp.weixin.qq.com/s/5mswJXHOo9jQa4h9zTMDyg
- k8s部署:https://mp.weixin.qq.com/s/Yo3FWum-_lZtn7DUkCzxkw
- meta的velox:https://www.qtmuniao.com/2023/03/22/velox-task-analysis/
- https://zhuanlan.zhihu.com/p/614918289
其他:
技术架构
执行流程
coordinator 收到作业后通过 sql 解析器对作业进行解析生成语法树, LogicPlanner 再对语法树进行语义分析,将 AST 转为逻辑执行计划,同时使用优化器进行优化。接着通过 DistributedPlanner 将计划进行切分生成多个 stage,stage 内部划分为多个 task, 通过 scheduler 将多个 task 分发到不同的 worker 上执行。由于Presto 本身不存储数据,需要通过多个connector 来访问不同数据源的数据。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 震惊!C++程序真的从main开始吗?99%的程序员都答错了
· 【硬核科普】Trae如何「偷看」你的代码?零基础破解AI编程运行原理
· 单元测试从入门到精通
· 上周热点回顾(3.3-3.9)
· winform 绘制太阳,地球,月球 运作规律