dremio DacDaemonYarnApplication 简单说明
摘要：DacDaemonYarnApplication 属于dremio 通过twill 集成yarn 的应用指南定义，核心是实现了标准的TwillApplication接口 前边有简单说过twill 的运行，一个是通过实现TwillRunnable 接口的，还有一个就是实现TwillApplicatio
阅读全文
posted @ 2023-02-05 11:04
随笔分类 - dremio
dremio
apache twill 开发参考流程
摘要：尽管apache twill 已经退役了，但是已经集成的周边还是不少的，比如dremio 就使用到了twill 对于yarn 的集成支持 参考开发流程 TwillRunnable 接口 类似多线程开发，我们实现此接口的服务主要就是任务的处理 public class EchoServer imple
阅读全文
posted @ 2023-02-05 10:51
dremio AppBundleRunner 简单说明
摘要：AppBundleRunner 的作用 运行通过AppBundleGenerator 生成的jar 加载上边jar 相关依赖到类加载器中 初始化实例，并调用main 方法 同时还包含运行实例的停止 参考处理说明 类加载处理 实际上是load 方法，通过解析jar 元数据信息，同时也会进行jar 的解
阅读全文
posted @ 2023-02-04 22:08
dremio yarn 集成之 AppBundleGenerator 简单说明
摘要：AppBundleGenerator 的目的是方便yarn 应用的运行，dremio 自己开发了一个方便软件打包的服务，可以简化 参考处理 默认生成的jar 包名称dremio-bundle.jar public Path generateBundle() throws IOException {
阅读全文
posted @ 2023-02-04 21:20
dremio 的 YarnDaemon 简单说明
摘要：YarnDaemon 与DremioDaemon 基本类似，都是启动dremio 服务，只是YarnDaemon 更多是关于执行器节点的运行模式与 DremioDaemon 差异比较大，DremioDaemon 就是一个long running 任务，但是YarnDaemon 实际上是一个由线程调度
阅读全文
posted @ 2023-02-04 13:08
dremio 23 版本反射问题最新说明
摘要：此问题，官方已经确认是在进行反射替换的时候有问题，同时预计会在24 版本解决，但是目前暂时还没有发布（官方对于社区版的支持不是很好。。。。） 参考资料 https://community.dremio.com/t/dremio-23-not-match-any-reflections-with-mi
阅读全文
posted @ 2023-01-31 22:55
dremio provision 模式功能简单说明
摘要：目前此功能主要是支持yarn 等资源调度的，在dremio 系统中名称为弹性引擎 ProvisioningService 服务接口定义 参考类图 不同类型的实现 具体操作是由ProvisioningServiceDelegate定义进行操作的，并在dremio 启动的时候会包含相关服务能力的创建，因
阅读全文
posted @ 2023-01-31 22:51
dremio provisioning 几种模式简单介绍
摘要：主要是包含了基于云以及yarn 模式的部署 aws eks azure arm azure aks yarn 模式 标准集群模式 说明 以上集中模式包含了软件以及在云端部署的（与cloud 模式是不一样的），而且从dremio 目前的发展来说软件模式的基本不太推荐了，主要是cloud 模式了差异性还
阅读全文
posted @ 2023-01-31 21:17
dremio ioc 机制简单说明
摘要：dremio 对于服务的依赖管理以及处理没有直接使用google guice，而是dremio 自己包装了一个类似guice的ioc 能力 提供的能力说明 因为对于ioc 来说需要包含不同的几种服务注入模式（属性注入，构造函数注入），服务也会包含不同的scope （单例，实例，provider模式）
阅读全文
posted @ 2023-01-29 21:34
通过DACModule 模块学习dremio 服务模块依赖关系之 bootstrap
摘要：以前有简单介绍过dremio 的DACModule 模块，核心就是进行服务的启动以及依赖管理维护，接口实现了包含了bootstrap 以及build 区别在于bootstrap管理的是一些需要提前准备好的服务（比如协调服务，master 选举服务，还有就是一些引擎相关的，但是社区版没有实现） boo
阅读全文
posted @ 2023-01-28 20:49
dremio web sql api 执行简单说明
摘要：通过web sql 直接我们可以了解一些dremio 查询执行的处理，对于web sql 执行来说如果从实际来说应该包含了两类: 通过rest api 执行sql 的以及通过web ui 操作的 rest api sql 执行 sql 查询流程为: 先提交任务，然后通过任务id 或者sql 执行的状
阅读全文
posted @ 2023-01-22 23:20
dremio api 简单说明
摘要：以前在简单介绍dremio webserver 的时候提过dremio 的api，实际上包含了两大部分，一个是为了bff的（方便前端使用的），一个是独立的rest api 方便业务调用的（实际上就是官方文档中看到的） 接口开发处理 rest api 以及bff api 都是基于jax-rs 标准开发
阅读全文
posted @ 2023-01-22 20:49
dremio 的 telemetry 处理简单说明
摘要：dremio 实际上添加了支持基于opentelemetry 的监控处理,代码处理上官方是已经支持了metrics ，当然也是支持trace的 参考处理机制 处理上基于了配置，同时利用了jackson 多太类型处理，以及基于spi模块加载机制 配置加载 包装了TelemetryConfigurato
阅读全文
posted @ 2023-01-21 22:56
dremio ClusterCoordinator 服务简单说明
摘要：dremio ClusterCoordinator 主要是处理集群任务协商的，比如那些服务可以在什么节点上运行，以及对于查询具体这么执行，对于元数据应该如果存储以及元数据如何进行刷新，同时还包含了节点的任务处理 相关实现类 目前官方包含了基于zk的软件运行模式，以及本地集群模式的，当然好包含了一个方
阅读全文
posted @ 2023-01-21 17:59
dremio backend webserver 简单说明
摘要：dremio 的webserver 是基于jetty+jersey 开发的web server 同时也和标准的dremio 服务一样实现了service 接口方便服务的启动 具体是由DACDaemon 调用触发的启动 webserver start 服务 @Override public void
阅读全文
posted @ 2023-01-20 22:43
dremio daemon 的admin 管理cli 简单说明
摘要：admin cli 提供了对于dremio 维护的能力，包含了备份，清理元数据，导出profile，nessie 维护，恢复，更新kv 存储、重置密码。。。 修复acl （企业版特性） 参考代码处理 基于了注解以及类扫描机制 代码 public static void main(String[] a
阅读全文
posted @ 2023-01-20 17:33
dremio DACModule 模块简单说明
摘要：DACModule 核心是进行dac 一个帮助类，进行一些依赖的处理，方便在DACDaemon 中使用，同时官方为了支持自定义 基于动态类创建进行了扩展（DremioDaemon 处理的） 接口定义 参考类图 备注： 会发现包含两个SingletonRegistry （bootstrap的以及一个普
阅读全文
posted @ 2023-01-20 10:55
dremio DACDaemon 简单说明
摘要：通过DremioDaemon 我们知道dremio 服务的启动时通过DACDaemon 处理的 DACDaemon的启动 <wiz_code_mirror> // 包含了DACConfig，模块的类扫描结果， DACModule 模块实现（可以通过配置选择的，比如自定义自己的） DACDaemon.
阅读全文
posted @ 2023-01-19 22:30
dremio DremioDaemon 简单说明
摘要：DremioDaemon 的核心是启动dremio服务同时进行一些依赖的注入 简单启动说明 包含了自动更新处理（主要是kv 存储的，后边会介绍dremio 一些任务） 查找DACModule创建类，并初始化内部包含的服务（不少是基于dremio 的service 机制启动的），等待jvm 退出，并处
阅读全文
posted @ 2023-01-19 20:32
dremio 的配置处理简单说明
摘要：dremio 的配置基于了typesafe 的config 参考配置 模块级别的配置 sabot-module.conf dremio.classpath.scanning { base.classes += "com.dremio.dac.cmd.upgrade.UpgradeTask" pack
阅读全文
posted @ 2023-01-19 15:54
