dremio yarn 资源调度配置简单说明
以前简单说过一些关于yarn 运行的，对于在yarn 资源调度框架运行，dremio 需要的配置还是比较多的## 配置简单说明
配置需要三大步骤，hadoop配置，dremio runtime 配置，yarn 调度资源配置，以下主要说明关于dremio 相关的
- 协调节点
services: {
coordinator.enabled: true,
coordinator.master.enabled: true,
executor.enabled: false
}
同时配置本地数据存储（元数据，配置信息存储需要）
paths: {
local: "/var/lib/dremio"
}
- 分布式存储配置（所有节点，主要是关于hdfs的）
paths: {
dist: "hdfs://<NAMENODE_HOST>:8020/path"
# If Name Node HA is enabled, 'fs.defaultFS' should be used
# instead of the active name node IP or host when specifying
# distributed storage path. 'fs.defaultFS' value can be found
# in 'core-site.xml'. (e.g. <value_for_fs_defaultFS>/path)
}
- zk 配置使用外部的
zookeeper: "<ZOOKEEPER_HOST_1>:2181,<ZOOKEEPER_HOST_2>:2181"
services.coordinator.master.embedded-zookeeper.enabled: false
- yarn 执行器配置
通过ui，配置还需要配置spill 目录（推荐使用yarn 节点的本地资源）
说明
官方资料还是比较全的，同时理论上也是支持基于k8s的，目前好像没有开源，同时很不错的是，dremio 官方文档终于有点样子了，比较专业了
