dremio yarn 资源调度配置简单说明

以前简单说过一些关于yarn 运行的，对于在yarn 资源调度框架运行，dremio 需要的配置还是比较多的## 配置简单说明
配置需要三大步骤，hadoop配置，dremio runtime 配置，yarn 调度资源配置，以下主要说明关于dremio 相关的

• 协调节点

 

services: {

  coordinator.enabled: true,

  coordinator.master.enabled: true,

  executor.enabled: false

}

同时配置本地数据存储（元数据，配置信息存储需要）

paths: {

  local: "/var/lib/dremio" 

  ...

}

• 分布式存储配置（所有节点，主要是关于hdfs的）

paths: {

  ...

  dist: "hdfs://<NAMENODE_HOST>:8020/path"

  # If Name Node HA is enabled, 'fs.defaultFS' should be used 

  # instead of the active name node IP or host when specifying 

  # distributed storage path. 'fs.defaultFS' value can be found 

  # in 'core-site.xml'. (e.g. <value_for_fs_defaultFS>/path)

}

• zk 配置使用外部的

zookeeper: "<ZOOKEEPER_HOST_1>:2181,<ZOOKEEPER_HOST_2>:2181"

services.coordinator.master.embedded-zookeeper.enabled: false

• yarn 执行器配置
  通过ui，配置还需要配置spill 目录（推荐使用yarn 节点的本地资源）

说明

官方资料还是比较全的，同时理论上也是支持基于k8s的，目前好像没有开源，同时很不错的是，dremio 官方文档终于有点样子了，比较专业了

参考资料

https://docs.dremio.com/software/deployment/yarn-hadoop/