dremio yarn 资源调度

dremio 是支持基于yarn 进行资源调度管理的，还是比较强大的

参考架构

 

 

部署简单说明

协调节点部署在边缘，对于执行节点通过节点进行配置yarn 资源的处理，dremio 会依赖hadoop 的数据卷进行cahce 以及split 处理
同时dremio 实现了watchdog 进行资源的清理（http health 检查进行处理）

说明

详细的部署可以参考官方文档，但是从目前来说尽管官方提供了此功能，但是关于动态资源调度的官方很不好，属于企业版的功能
如果我们需要控制只能基于队列控制（但是功能太弱了），yarn 调度功能的开发基于了apache.twill （已经退役了），运行时配置
参数参考官方文档的配置分布

参考资料

https://docs.dremio.com/deployment/yarn-hadoop/
https://docs.dremio.com/deployment/ahttps://docs.dremio.com/deployment/aws/aws-edition-managing-engines/ws/aws-edition-managing-engines/
https://docs.dremio.com/advanced-administration/workload-management/#direct-routing
https://docs.dremio.com/advanced-administration/dremio-conf/