摘要：pkl apple 开源的配置即代码语言 应用场景 生成静态配置 可以方便的生成json，yaml，xml 格式配置 应用运行时配置 官方提供了swift，go，java，kotlin 语言的支持，可以方便使用 说明 github 上的start 不少，值得看看，同时也直接可以集成到spring b 阅读全文

摘要：以前简单介绍过dremio cloner 工具，以下是一个简单试用 dremio 环境准备 基于docker-compose，具体可以参考https://github.com/rongfengliang/dremio_cluster_docker-compose 完成配置 安装dremio clon 阅读全文

摘要：以前修改过一个unpkg，可以支持本地私服部署，今天有一位网友在使用淘宝registry 的时候发现有问题，会有重定向的问题 造成不能使用 原因分析 尽管我们配置的是 registry.npmmirror.com 但是对于内容的下载npmmirror 会使用另外一个域名cdn.npmmirror.c 阅读全文

摘要：dremio 的外部查询实际上就是让我们可以通过sql 直接查询source 而不是通过复杂的处理，可以解决一些sql 函数不能使用的问题 对于实现了SupportsExternalQuery 接口的存储扩展就可以实现此功能，比如jdbc 的（属于ce 扩展） 参考语法 SELECT * FROM 阅读全文

摘要：FileDatasetHandle 是DatasetHandle的扩展，核心是对于文件系统类的处理（dremio 对于文件系统的支持主要是基于hdfs）同时支持对于不同表格式的处理（delta lake，iceber，parquet），单独说明FileDatasetHandle主要是因为此实现比较重 阅读全文

摘要：以前简单介绍过apple 开源的pkl 配置即代码工具（当然也提供了语言上的支持），以下是一个简单试用 安装 mac 系统 cli 命令 curl -L -o pkl https://github.com/apple/pkl/releases/download/0.25.2/pkl-macos-am 阅读全文

摘要：native-lib-loader 可以方便native 库的查找，只要我们的c 库符合格式，基于native-lib-loader 就可以方便的进行包的加载 参考c 库 jar 格式 /natives /linux_32 libxxx[-vvv].so /linux_64 libxxx[-vvv] 阅读全文

摘要：可能有人注意到dremio 管理界面的统计信息为N/A ，而且因为web 端进行了一些额外显示处理，造成一些疑惑 界面效果 接口返回数据信息 目前从官方代码来说，此显示是正常的，因为计算的是百分比，而且当系统负载比较低的时候，结果基本就为0 web 处理 NodeActivityView.js 参考 阅读全文

摘要：magika google 开源的基于深度学习的文件类型检测框架，基于了一个keras 模型，包含了1MB的参数，而且需要的资源比较少不以来GPU 包含的特性 支持python cli 以及nodejs 使用（基于tfjs） 训练超过了25M的文件数，超过100中类型 支持递归检测 支持3中类型的预 阅读全文

摘要：DatasetHandle 主要是关于dataset handle 处理的，不同存储插件会有不同的具体实现，同时不同的表格式也会有不同的实现（iceberg，parquet） 功能简单介绍 主要是关于dataset如何处理的handle，实际的实现会包含一些上下文信息，当进行其他api 调用的时候 阅读全文

摘要：实际上dremio 的反射比较有意思，而且也比较强大，比如我们可以会想通过反射，当上游系统不可用的时候依然可以查询 但是实际效果并不是这样的 参考配置 如下 问题 The source [s3] is currently unavailable. Metadata is not accessible 阅读全文

摘要：属于一个简单试用，dlt 支持destinations 为filesystem，当然也支持source 为filesystem，内部处理是使用了s3fs 环境准备 这个比较简单，推荐基于venv dlt pip install dlt[filesystem] s3 通过docker 部署，同时可以需 阅读全文

摘要：以下主要是一个简单的体验 环境初始化 以前也简单说明dlt实际上就是一个python包，实际使用推荐结合python 的venv 安装 安装 python -m venv venv pip install -r requirements.txt requirements.txt 文件( 主要是一些依 阅读全文

摘要：以前在关于ManagedStoragePlugin部分，简单说明了下SystemStoragePluginInitializer，今天再明确说明下 SystemStoragePluginInitializer 的特点 继承自Initializer接口，可以实现一些轻量级服务的启动 SystemSto 阅读全文

摘要：dlt是一个开源数据加载工具，基于python 开发 特点 一个库 dlt 就是一个python包，其他地方需要我们自己开发 非黑盒系统 我们可以基于代码灵活的进行自定义开发 基于乘法的玩法，而不是加法 自动代码生成 包含了类似dbt 的一些处理cli 基于python 的玩法 dlt 对于数据的处 阅读全文

摘要：就在昨天nginx 发布了1.25.4，主要修改是关于http 3的安全问题，当然还有一些其他bug 修改 说明 目前看越新的技术，出现安全问题的风险越大（主要是当前新的http协议实现越来越复杂了） 参考资料 https://nginx.org/https://nginx.org/en/secur 阅读全文

摘要：jvm 的shutdownHook 可以实现对于jvm 退出的一些处理，比如资源清理，异常事件通知，spring 自定义事件（或者使用内部的）可以实现 bean 的一些事件驱动处理，两个结合起来可以方便我们进行一些业务处理 一些业务场景 资源清理 服务停止业务状态一致性补偿 服务注册场景中的取消注册 阅读全文

摘要：dremio cloner 是dremio 官方团队开发的一个python cli 工具 主要应用场景 dremio 环境迁移 比如社区版到企业版 ci/cd 集成 部分备份恢复 安全审计报告 反射报告 参考资料 https://github.com/deane-dremio/dremio-clon 阅读全文

摘要：安装cli curl https://get.extism.org/cli | sh cli 模式运行 官方提供了一个示例项目，可以快速体验 命令 PLUGIN_URL="https://github.com/extism/plugins/releases/latest/download/count 阅读全文

摘要：ruffle 基于webassembly 的flash player 模拟器 包含的特性 安全 基于rust 以及wasm 避免一些安全问题 安装简单 免费开源 说明 官方还提供了一个demo 站点可以快速体验功能 参考资料 https://github.com/ruffle-rs/ruffleht 阅读全文