摘要：说明此服务是从25.0 开始包含的，同时在release note 中也有说明，以下主要说明下内部实现 release 信息 如下，具体就不翻译了，主要是添加了一个每个任务进行每个view最大保留50个历史信息 Added daily catalog maintenance tasks to tri 阅读全文

摘要：dbt 实际上提供了一个plugin 架构（属于扩展与adapter 的plugin 机制是不一样的）只是目前官方缺少文档的说明 以下是一些简单说明 内部处理 插件接口定义 目前相对简单，只提供了核心是3个方法initialize，get_nodes，get_manifest_artifacts c 阅读全文

摘要：dremio-stress 是基于rest 埃及jdbc 的dremio 压力测试工具，实现上相对简单，并不是比较复杂的东西，可以结合一些业务场景使用同时建议和dremio-diagnostic-collector 配合起来 说明 此工具应该并非官方的，实际如果需要进行大规模测试基于tpc-h 会更 阅读全文

摘要：japicmp 是一个比较强大的工具，可以方便的进行jar 文件的比较，同时提供各类输出格式，java class 解析上使用了javassist同时我们配置jar 的classpath，进行完整比较，也可以忽略，japicmp 也提供了maven plugin 可以方便使用，如果希望在系统中集成我 阅读全文

摘要：以前简单说过，实际上dbt 的flags 提供的参数还是不少的 参考内容 一个参考内容 可以看出还是不少信息的 flags Namespace(WRITE_JSON=True, WARN_ERROR=None, PROFILES_DIR='xxxx/.dbt', INDIRECT_SELECTION 阅读全文

摘要：有时我们希望对于ssl 进行一些信息的查看，以下是一些工具，以及参考使用命令 nmap nmap --script ssl-enum-ciphers -p 5671 possum.lmq.cloudamqp.com openssl openssl s_client -connect possum.l 阅读全文

摘要：就在最近dremio dbt 包升级到1.7了，兼容dbt -core 1.7 特性了，以前是基于1.5的 说明 dbt 新版本还是有不少新特性的，对于升级版本后边尝试试用下 参考资料 https://github.com/dremio/dbt-dremio/releases/tag/v1.7.0 阅读全文

摘要：dbt on_configuration_change 目前主要是在处理物化视图中，on_configuration_change 包含了三类设置 参考设置 apply 是默认参数，尝试进行更新存在的数据库对象 continue 允许继续运行，但是提供一个警告 fail 如果捕捉到变动就失败 参考使 阅读全文

摘要：dremio 25.0 版本对于logback 的日志配置支持自动reload 了，不需要重启服务了，功能上看似乎很高级，实际上只是利用了logback 的能力，以下简单说明下 新添加的配置 logback.xml <configuration scan="true" scanPeriod="30 阅读全文

摘要：dremio dbt 的集成我以前简单说过玩法，同时与nessie 的集成也有说明过（主要是关于配置以及简单使用的） 以下我说明下nessie 分支特性集成的一些可能玩法 nessie 分支简单说明 nessie 基于元数据的分支特性可以很好的辅助我们进行数据模型的开发，而且不需要多份数据，可以使用 阅读全文

摘要：AuthProvider 是在authenticator 模块中提供的接口定义，目前实现包括了LocalUsernamePasswordAuthProvider以及DremioAccessTokenAuthProviderLocalUsernamePasswordAuthProvider 是目前社区 阅读全文

摘要：在看dbt 关于get_replace_sql macro 的时候发现了一个relation 一些比较有意思的方法，以下简单说明下 dbt relation 类 dbt relation 包含了基类BaseRelation，InformationSchema 类以及各种基于BaseRelation 阅读全文

摘要：git-commit-id maven-plugin 是一个比较有意思的插件，可以提供一些git 详细相关的元数据信息到jar 包中，这样有利于我们分析 业务问题（里边包含了git commitid，分支，提交人，提交日志等信息），以下是一个简单试用 项目准备 一个多模块项目 父pom.xml <? 阅读全文

摘要：以前是简单说明过dremio 的UserService ，dremio 实际上支持内部以及外部用户的玩法 类图 可以看到，包含了simple 以及executor 两个，同时实现了UserServiceEvents 支持发布订阅能力的接口（订阅是25.0 版本的） executor 的实现实际上是为 阅读全文

摘要：cryostat 属于一个jfr 管理工具，由红帽团队开发，可以用来安全的管理容器环境中的jfr 处理 包含的工具 operator 可以方便的集成到k8s，openshift 中 agent 可以实现cryostat 发现以及jfr 数据的推送 grafana datasource 支持 数据gr 阅读全文

摘要：dremio 对于数据集自动提升可以通过ui，也可以通过sql，当然rest api 也是可以的，目前sql 使用起来相对简单，但是缺少一些配置参数 sql 模式参考命令 // 当前推荐的模式 ALTER TABLE s3.dalong.demo REFRESH METADATA AUTO PROM 阅读全文

摘要：以前简单介绍过关于dbt show 的使用，以下简单说明下关于内部处理 参考实现 核心是show.py 中的ShowTask 参考代码 class ShowTask(CompileTask): # 进行判断参数必须包含select 或者inline def _runtime_initialize(s 阅读全文

摘要：我只结合adapter 包中对于global macro 一些扩展进行说明，还会有其他地方支持扩展的macro（比如自定义schema 的） 系统adapter 提供的几个扩展 dbt/adapters/sql/impl.py 中 几个参考定义 以下这几个是留给了具体adapter 实现进行扩展（有 阅读全文

摘要：dbt show 主要做以下事情 内部处理 编译基于sql 的model，test，analysis，或者执行基于--inline的sql ，当前不支持python模型 在dw 中执行查询 在终端中预览结果 备注： 默认limit 为5 ，但是可以自己调整通过--limit 参数，同时dbt sho 阅读全文

摘要：实际上属于dremio 社区一个问题，内部实际上是dremio 对于格式化插件支持的问题, 不少是基于文件格式硬编码的，尽管 我们可以自定义格式化插件，但是对于已经支持的就有点不是很方便了，可以直接复用现有的，以下说明下修改以及处理 直接修改JSONFormatPlugin 代码支持jsonl 参考 阅读全文