摘要：dremio 从24.3 开始支持parquet v2 writer 同时性能提升还是很明显的 对于读 官方在TPC-DS测试中，最低有22% 左右的，最高97%，平均77% 左右 写入 同样也是TPC-DS 中，存储降低24%左右，写入提升1.5% 左右，如果开启了c3 读性能提升6.4% 开启 阅读全文

摘要：以下是一个简单试用，学习下nginx-go-crossplane 的使用 参考代码 nginx.conf worker_processes 1; events { worker_connections 1024; } http { default_type application/octet-str 阅读全文

摘要：nginx-go-crossplane 属于python 版本crossplane nginx 配置解析包的golang 移植可以实现nginx 配置解析转换为json 格式的数据，当然也支持将json 转换为nginx 配置格式 说明 对于希望基于nginx 搞自己的流量统一平台，同时希望基于ap 阅读全文

摘要：就在最近dremio 提供了24.3.2社区版的下载，同时oss 源码也发布了，核心是一些fix,详细的可以参考官方的release notes 说明 大概看了下git commit 一些变动，此版本开始，一些本来为false 的参数直接设置为了true了比如codedremio.unlimited 阅读全文

摘要：主要是一个记录，jvm 提供了一些系统信号处理的辅助函数，包含了基于ShutdownHook的以及自定义SignalHandler的 ShutdownHook 模式的 相当于提供了一些直接内置的能力，我们不需要太多关注，主要处理的自己一些业务逻辑 参考使用 Runtime.getRuntime(). 阅读全文

摘要：ccm是一个Cassandra 集群管理工具，此工具也是Cassandra 权威指南书中推荐的一个工具，对于希望快速部署生产可用的Cassandra 集群是一个很值得尝试下 参考资料 https://github.com/riptano/ccm 阅读全文

摘要：typespec 是一个强大的api 描述框架，以下是一个简单的试用 安装typespec 可以安装为全局cli 命令 npm install -g @typespec/compiler 使用 创建项目 tsp init // 后续按照提示操作，可以选择http 安装依赖 tsp install 项 阅读全文

摘要：typespec 是微软开源的api 描述工具，我们可以直接使用与typescript 类似的语言就能描述api，可以方便的生成rest，graphql，openapi，grpc 一些其他协议代码 包含的特性 api 优先 轻量级api 定义语言（基于typescript） 与现有工具链可以方便的集 阅读全文

摘要：dataspell 是jetbrains 的数据开发工具，是一个很不错的数据开发ide，同时也支持对于dbt 项目的开发我们可以使用类似idea 的开发模式进行dbt 项目开发 参考效果 项目结构 数据管理 注意需要自己配置数据源（可以使用遗留模式的jdbc，或者基于arrow flight jdb 阅读全文

摘要：ash 是一个Elixir 框架 包含的特性 面向资源 通过plug 以及play 构建复杂的应用 graphql 支持 基于absinthe 的graphql 支持 json api 支持 认证&授权支持 多租户支持 统一数据层 灵活扩展 可观测性支持 phoenix ecto 框架兼容 说明 a 阅读全文

摘要：以前没注意使用random，在看社区问题的时候测试了下发现的确有类似的问题，官方的解决方法是通过配置 禁用gandiva 优化 参考配置 支持key格式 exec.disabled.gandiva-functions: <function>;<function> 参考配置 参考禁用处理 sabot/ 阅读全文

摘要：minio 23 年底的一个版本中，支持了基于yaml 的配置参数，以前基于环境变量的模式还是支持的，只是yaml 成为一个首选模式 参考配置 yaml 配置 version: v1 address: ':9000' rootUser: 'minioadmin' rootPassword: 'pBU 阅读全文

摘要：dbt-language-server fivetran 提供的dbt 语言工具 包含的特性 查询预览 sql to ref 的转换 异常高光 自动完成 函数签名帮助 跳转定义 dbt 状态 创建dbt 项目 安装dbt 包 说明 对于基于dbt进行是数据建模的，dbt-language-serve 阅读全文

摘要：socketioxide 是基于rust 的socket.io server 实现 包含的特性 类似axum 的API 完全兼容官方socket.io client 支持v4 协议 状态管理 namespaces rooms 消息确认 polling 以及websocket 支持 说明 目前sock 阅读全文

摘要：dbt 在国外比较火，同时社区也提供了不少调度运行模式（core 部分没提供），研究apache airflow 是一个不错的选择，但是原生script 模式的调用比较简单，astronomer-cosmosy 提供了方便dbt 在apache airflow 通过dag 以及task groups 阅读全文

摘要：昨天我写过一个基于signoz的dremio opentelemetry 集成，实际上grafana/tempo 也是一个很不错的选择，主要是部署简单，以下是一个简单测试 环境准备 docker-compose 文件 version: "3" services: tempo: image: graf 阅读全文

摘要：标准的系统监控应该包含metrics，trace，log 这个三大类，metrics 部分，包含了一个promethues 的扩展，当然官方也支持jmx以及slf4j的 opentelemetry 是一个直接内置的trace 功能，很不错，以下是一个简单的测试 环境准备 dremio 默认就支持op 阅读全文

摘要：postgres-wasm Supabase & Snaplet 开发的可以在浏览器中运行pg的工具，比较有意思 使用到的一些包 runtime v86的一个模拟器 buildroot 脚本，方便构建一个在v86 中运行的cpu 以及内存快照 websockproxy 网络工具 说明 官方也提供了一 阅读全文

摘要：dremio 开发数据源扩展，基本包含了数据库，元数据类的，对象存储的，以及catalog 的，实际上开发扩展不算太难 默认开发的扩展直接放jars 文件夹就可以了，但是目前新版本我们会发现隐藏了一个opensearch 的插件，这个插件需 要通过配置开启，plugins.jdbc.opensear 阅读全文

摘要：以前简单写过一个dremio 配置相关的介绍，以下是一个简单的使用 原理 dremio 自己定义了一个Options 的注解，包含此注解的类会被启动的时候进行类扫描加载，Options 的会存储起来（分为不用类型的） 有session 级别的，系统级别的。。。。 简单使用 pom.xml <?xml 阅读全文