摘要：就在23年的12月底，netflix conductor 团队停止了对于conductor 社区版的维护，同时github 项目只读了目前社区有一个fork 的conductor-oss （ orkes 团队维护，团队成员来自netflix），orkes 属于一个企业级的conductor平台 参考 阅读全文

摘要：extism 基于rust 开发的强大webassembly 框架 包含的特性 使用简单 可以方便的开发基于webassembly 的插件系统 安全 方便运行 包含了灵活的架构可以可以方便与多种语言进行通信（基本覆盖了主流的编程语言） 说明 目前基于webassembly的语言集成热度是越来越高了， 阅读全文

摘要：dbt-jsonschema是dbt 官方开发的一个方便schema check 的工具，目前主要支持json 以及yaml 格式的check 同时官方也有一个60s 的介绍 说明 目前来说开发dbt 的ide dataspell 是一个不错的工具，dbt-language-server 也可以作为 阅读全文

摘要：以前简单写过一些关于dremio 的InformationSchemaCatalog ，也说过dremio 为了方便提供标准的INFORMATION_SCHEMA 自己开发了存储扩展，以下是关于存储扩展的创建以及刷新说明 创建 创建是在CatalogService 中处理的，具体的实现是Catalo 阅读全文

摘要：dremio 尽管对于文件系统的使用很多底层都是hdfs 的（s3，发射加速），dremio 为了减少直接依赖hdfs，自己抽象了一个FileSystem 接口 对于不同的实现可以方便进行扩展，当然和刚才说的一样，不少底层依赖的是hdfs 的FileSystem 参考子类 如下图 简单说明: Fil 阅读全文

摘要：dremio cloud cache 实际上就是对于云文件系统的cache加速（比如hdfs，s3。。。），在处理的时候使用了ce 包装的包，详细源码并没有开源 我们可以通过一些代码整体看下实现 参考处理 dremio-ce-services-cachemanager 中的处理 ce caache 阅读全文

摘要：dremio 可以对查询结果进行下载（csv，json，parquet格式的），但是目前有一个100万的限制，实际上一般是够用了，但是很多时候大家可能 希望对于查询的结果进行存储（比如进行进一步的分发），以下是一个技巧 默认下载的处理 从处理上就是dremio 的查询job，将查询结果存储到一个__ 阅读全文

摘要：spring-plugin 是spring 官方提供的一个插件化设计方案，比如使用支持基于spring 的项目 项目结构 此简单测试项目是一个maven 多模块的，包含了一个plugin 契约模块，连个插件实现，以及一个bootstrap 启动入口 代码结构 ├── README.md ├── bo 阅读全文

摘要：spring-plugin属于spring 官方的plugin 解决方案 使用的上下文 以下是官方的一些使用场景 希望构建一个插件化架构 不能使用osgi的（实际上还是osgi 太复杂） 系统通过一些接口进行系统扩展 希望通过jar 包的模式进行系统的灵活扩展 项目使用spring 说明 目前不太好 阅读全文

摘要：vscode Data Wrangler 一个强大的处理vscode 数据处理工具，代码没有开源，但是可以进行不少数据的可视化处理 安装 使用效果 比如我一个parquet 数据文件的显示处理 说明 vscode-data-wrangler 并没有开源，技术实现上有python，同时还有dotnet 阅读全文

摘要：实体解析在实际业务数据分析场景还是很重要的，以下是一个不错的实体解析工具以及资料的github 地址其中提供了包含开源&商业解决方案，同时还有一些不错的书籍，hands-on-entity-resolution 这本书是24年新出的，核心使用到的工具是splink，很不错的python包 参考资料 阅读全文

摘要：dremio 官方发布了一篇新博客是关于如何实现对象存储的快速查询的 使用的技术 主要是apche arrow,reflections, columnar cloud cache (c3) 说明 博客内容很简单，主要是进行了一个介绍，详细的可以看看里边的内容，同时里边包含了不少链接值得学习下 参考资 阅读全文

摘要：对于运行态的dremio 我们可以看到服务开启的监听，同时也可以通过官方提供的配置文件看到 dremio 协调节点 如果协调节点同时是提供执行，会暴露以下端口 zk （可能） 如果使用了内嵌zk 的2181 client-endpoint 31010，主要是老遗留模式的jdbc 端口 flight 阅读全文

摘要：LivenessService是dremio backend 提供的一个http 服务，提供了live （存活）以及metrics服务 此服务在dremio 集群中的每个节点上都会运行，以下是一些说明 一些特点 服务使用了jetty 与官方dac 的backend 是不太一样，默认使用了jersey 阅读全文

摘要：dbt_artifacts 实际上属于基于基于macro 以及自定义模型开发的一个dbt 包，实现了模型的元数据能力,同时也可以作为一个dbt 模型测试的工具 支持的数据库 Databricks Spark Snowflake Google BigQuery Postgres 参考资料 https: 阅读全文

摘要：dremio 社区版，集群安装比较简单，核心就是一个配置（zk，分布式存储），为了方便本地环境的测试我 基于docker-compose 提供了一个方便部署的环境，可以使用 环境配置 docker-compose version: "3" services: zk: image: zookeeper 阅读全文

摘要：elementary 面向对象分析师的开源数据可观测工具,基于了dbt 包含的特性 数据可观测性报告 通过dbt tests 可以发现异常数据 测试结果 模型性能报告 数据血缘 dbt 制品上传 slack 同志 说明 elementary 实际上就是一个dbt 的扩展，实现了不少强大的功能，值得试 阅读全文

摘要：quickjs-emscripten是基于emscripten将quickjs c 版本，编译为了webassembly 方便通过npm 使用 包含的特性 支持node以及web 使用 安全的执行js （支持到es2020） quickjs runtime 进行创建以及维护值 暴露主机函数到quic 阅读全文

摘要：这次说的docker init 并不是init 进程，而是docker 提供了cli init 命令，与npm init 等类似的方便创建docker 项目的命令 参考使用 提供的能力 docker help init Usage: docker init [OPTIONS] Creates Doc 阅读全文

摘要：dremio 从24.3 开始支持parquet v2 writer 同时性能提升还是很明显的 对于读 官方在TPC-DS测试中，最低有22% 左右的，最高97%，平均77% 左右 写入 同样也是TPC-DS 中，存储降低24%左右，写入提升1.5% 左右，如果开启了c3 读性能提升6.4% 开启 阅读全文