原文地址:https://blog.csdn.net/Happy_Sunshine_Boy/article/details/112967839
文章目录
1.Trino与Spark SQL的区别分析
2.Trino与Spark SQL解析过程对比
3.Trino基本概念
4.Trino架构
5.Trino SQL执行流程
6.Trino Task执行流程
7.Trino UI页面数据指示
相关参考:
1.Trino与Spark SQL的区别分析
2.Trino与Spark SQL解析过程对比
Trino
Spark SQL
3.Trino基本概念
4.Trino架构
5.Trino SQL执行流程
6.Trino Task执行流程
任务调度:
1.分配多少个任务?
2.每个任务分配到哪些机器节点上?拓扑调度算法 (Topology Aware Scheduling strategy)
答:Presto把集群资源划分成两级结构(Machine,集群);【两层结构】
分配算法如下:
2.1 当分配一个Split时候,会给定Split的一个地址,这个地址代表期望的分配地址;(尽量距离数据源最近的地址)
2.2 从Machine层开始查找,首先查看Machine上已经分配的Split个数是否已满,若未满则分配该机器;
2.3 若Machine资源池已满,则到集群级别找一台机器,这台机器的资源池使用量小于50%,则分配这台机器。否则分配失败;
7.Trino UI页面数据指示
相关参考:
CentOS7环境下部署PrestoSQL-345版本三节点集群详细过程
PrestoSQL-345集群连接MySQL5.7
PrestoSQL-345集群连接Hive3.1.0
Trino(Presto345) on Hive知识总结及TPC-DS测试
PrestoSQL-345集群连接Kafka2.2.1
PrestoSQL-345集群连接Redis5.0.5
PrestoSQL-345集群连接Phoenix5.0.0-HBase2.0.0-未成功
PrestoSQL-345集群连接Elasticsearch7.3.2
PrestoSQL-345可视化Client yanagishima22.0部署
PrestoSQL-345集群连接TPC-DS
————————————————
版权声明:本文为CSDN博主「@TangXin」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/Happy_Sunshine_Boy/article/details/112967839
微信公众号: 架构师日常笔记 欢迎关注!