dremio DacDaemonYarnApplication 简单说明
DacDaemonYarnApplication 属于dremio 通过twill 集成yarn 的应用指南定义,核心是实现了标准的TwillApplication接口
前边有简单说过twill 的运行,一个是通过实现TwillRunnable 接口的,还有一个就是实现TwillApplication
参考定义
如下图
DacDaemonYarnApplication 实现的功能
- 构造函数生成运行的jar 文件
通过AppBundleGenerator 服务生成的 - 基于配置生成TwillSpecification
实际上是接口中的configure 方法,主要包含了内存,cpu 以及个数的定义以及一些资源控制等 - 提供环境定义
DacDaemonYarnApplication使用
YarnController 中的createPreparer 方法中,与标准apache twill 的玩法是一致的
参考代码
protected TwillPreparer createPreparer(YarnConfiguration yarnConfiguration, List<Property> propertyList) {
AppBundleRunnable.Arguments discoveryArgs = new AppBundleRunnable.Arguments(
YARN_BUNDLED_JAR_NAME,
"com.dremio.dac.daemon.YarnDaemon",
new String[] {});
DacDaemonYarnApplication dacDaemonApp = new DacDaemonYarnApplication(dremioConfig, yarnConfiguration,
new DacDaemonYarnApplication.Environment());
TwillRunnerService twillRunner = startTwillRunner(yarnConfiguration);
说明
以上是一个简单的介绍,可以更好的了解dremio 与yarn 的集成机制
参考资料
provision/yarn/yarntwill/src/main/java/com/dremio/provision/yarn/DacDaemonYarnApplication.java
https://twill.apache.org/
https://github.com/apache/twill