摘要：以前简单介绍过一个数据生成工具synth，snaplet 是一个类似的工具，但是设计上比较有意思，synth 是基于了schemasnaplet 使用了快照，以及基于ai 的数据生成模式，当然还包含了一种种子数据生成的模式 包含的特性 种子数据 对于现有的数据库使用快照模式生成 数据恢复 对于clo 阅读全文

摘要：jprofiler 可以直接与idea 集成，对于分析一些实际需要debug 但是不好复现的问题还是比较方便的，以下是一个简单的与 dremio 集成的，spring boot 使用了3.2 （jdk 需要17）同时也会包含一些启动说明 安装idea 插件 直接plugins 的市场中搜索安装就可以 阅读全文

摘要：dremio 对于nessie 的使用就是一个插件配置，默认基于docker运行的nessie 是没有进行版本持久化的，以下是一个简单说明 配置参考 我基于了pg，实际支持的存储引擎还是很多的 docker-compose version: "3" services: mysql2: image: 阅读全文

摘要：昨天在碰到一个dremio jdbc 比较奇怪的问题，按照了标准的jdbc 操作（建立链接，创建Statement，处理数据，关闭Statement，关闭连接） 当进行多次执行（多次建立连接操作）发现dremio 有一个操作异常，造成数据表创建有问题（事务不完整） 参考代码 private stat 阅读全文

摘要：以前简单说过基于代码修改开启test 的外部profile 能力，实际上官方是由配置参数的，可以在启动的时候添加到配置中 配置添加 dremio.conf 文件 debug { allowTestApis: true } 检查选项时候开启的一个技巧 使用arthas 命令 使用了arthas的vmt 阅读全文

摘要：很多时候我们包含了一些变量，需要check 变量的值，arthas 提供了几种方法 通过ognl ognl 是一个强大的功能，可以看一些变量信息，比如静态类，静态字段的 参考使用 ognl '@java.lang.System@out.println("hello")' 通过vmtool vmtoo 阅读全文

摘要：以下是一个简单的试用，主要是体验下synth 的功能 安装 我使用的mac 系统，其他系统按照官方文档操作 curl --proto '=https' --tlsv1.2 -sSL https://getsynth.com/install | sh 项目创建 创建文件夹 mkdir first 创建 阅读全文

摘要：synth 是由shuttle 团队开发的一个基于rust 编写的声明式数据生成工具 应用场景 数据隐藏 隐藏敏感的产品数据，帮助我们生成比较符合生成场景的数据 种子数据初始化 基于ci 的测试，开发环境数据生成，方便持续集成 基于自定义的规范，生成逼真的数据 可以基于约束，关系，生成逼真的数据 说 阅读全文

摘要：cachex 是一个强大的elixir cache 库，提供了事务，fallback，以及过期等基本能力 包含的特性 TTL 最大大小限制 pre、post 执行hooks 事务以及row 锁 异步写操作 分布式 同步本地文件系统 streaming cache 批量写 用户命令调用 统计信息 参考 阅读全文

摘要：elixir 提供了一些方便的模块属性，可以让我们方便的进行elixir 的扩展（尤其是进行元编程的时候） 比如elixir_agent 就使用到了before_compile以及on_definition ，方便进行trace 的处理 on_definition 的简单使用 参考demo 内容来自 阅读全文

摘要：sqlglot 实际上是由和sqlmesh一个团队开发的就用python 的sql 解析以及翻译工具，功能还是比较强大的支持20多种sql 方言的格式化以及翻译，sqlmesh 就使用了此工具包，当然相比其他一些工具，性能也是很不错的 参考资料 https://github.com/tobymao/ 阅读全文

摘要：sqlmesh 是一个类似dbt 的工具，目前没有dbt 热度高，但是也提供了一些不错的周边 一些比较不错的功能点 open sosurce ui 列级别的血缘 native notebook 支持 多仓库支持 sql 转译 开源ci/cd bot 虚拟数据环境 原生airflow 集成 data 阅读全文

摘要：我最近写了一个简单的关于dremio 集成nessie 以及dbt 玩法的说明，以下简单说明下dbt 如何配置 配置说明 对于配置实际上与以前一些介绍类似，集成nessie 的使用与其他是类似的，只是集成nessie 之后我们的数据开发模型上就有了实际的版本了（dbt 集成git 之后也会包含版本， 阅读全文

摘要：就在最近openresty 发布了1.25.3.1 版本，基于了当前nginx 最新版本（1.25.3） 核心特性 nginx 基于了当前最新版本 支持pcre2 支持http3 说明 目前来看openresty 更新迭代还是很不错的，一直在持续更新 参考资料 https://openresty.o 阅读全文

摘要：dremio 支持一些增量数据处理能力，同时可以选择增量字段，目前dremio 是提供了一些实现，比如反射数据基于iceberg对于增量 可以是不同的数据源（jdbc 的，文件系统的，iceberg 的），日常大家可能选择基于时间戳的（尤其业务系统是基于时间标识的append 类型的） 对于时间类型 阅读全文

摘要：dremio 的反射是可以创建的view 以及table （datasource 中的表) 上的，默认物化反射的调度频率最小是1小时，view 上的反射频率是不能调整的（只能创建，不能配置频率），物理表可以进行配置调整，以下是一些测试说明 几个方便观测反射效果的sql 以下是提供的几个系统表可以方便 阅读全文

摘要：以前我简单介绍过关于dremio 与nessie 集成的，基本可以分为两大类，一类是完全使用nessie 做为元数据以及iceberg 的操作，还有就是nessie 做为其他外部工具的元数据存储，同时dremio 专门也开发了相关的sql 操作，这样并不需要使用ui 进行操作 nessie元数据操作 阅读全文

摘要：onyxlang 支持包，提供了基于git 的模式，以下是一个简单试用 创建包 初始化 onyx package init 添加配置 按照官方的介绍，一个包需要包含代码（git repo），onyx-pkg.kdl 文件，module.onyx 文件 onyx-pkg.kdl 上边初始化的时候已经创 阅读全文

摘要：以前简单说过onyxlang 是一个基于webassembly 的新编程语言，以下是一个简单试用 安装 sh <(curl https://get.onyxlang.io -sSfL) 效果 注意安装完成之后需要配置环境变量（有提示） 包含的cli Onyx toolchain version v0 阅读全文

摘要：swoosh提供了多中邮件平台的adapter ，可以方便的进行邮件的测试，发送，还包含了对于phoenix 的集成同时还包含了一个方便的本地邮箱预览服务 参考资料 https://github.com/swoosh/swooshhttps://hexdocs.pm/swoosh 阅读全文