dremio 的job 分析
dremio 实际上对于sql 查询处理都是一个job,基于了自己的一套任务调度机制,很多时候我们也是需要进行job 分析的(执行中,以及执行完成的)
job 概述
job 概述包含了job 查询类型,运行时间,开始时间,结束时间,用户以及jobid,同时还包含了数据量以及流量情况
job 详情
job 详情包含计划数据(计划时间、入队时间),执行时间以及top 操作,同时数据大小以及查询记录数,对于job result
我们可以通过提供的视图获取,格式 select * from sys.job_results."<jobid>"
job加速
job 扫描模式,使用的反射
job profile
这个是一个比较核心的东西,可以方便我们进行查询优化,以及了解dremio job 的处理
包含的内容:
job profile: 查询,计划可视化展示,计划,加速,错误
job metrics: 线程,资源分配,节点,操作(每个视图都包含的)
query: 包含了查询文件,job 状态,命令池等待时间,计划时间,资源调度时间,协调节点名称
可视化计划: 从下向上查看
计划: 包含了实际执行的资源消耗情况,包含了io,cpu,内存,元数据缓存,非默认操作,最终物理转换,评估的row 以及实际扫描以及join aggregate 都是比较有意义的
加速: 包含了加速使用的查询,查询选择的模式
异常:故障节点该节点始终是协调节点,错误消息中的服务器名称是实际受影响的节点
说明
以上是一个简单的说明,对于job profile 详细解决,后边会说明