elixr 本地模块引用
摘要：
elixir 的mix 支持引用本地模块，以下是一个简单的学习 参考使用 项目结构 ├── app │ ├── README.md │ ├── lib │ │ └── app.ex │ ├── mix.exs │ └── test │ ├── app_test.exs │ └── test_help 阅读全文
posted @ 2023-12-27 09:32 荣锋亮 阅读(7) 评论(0) 推荐(0) 编辑
rebar3 集成elixir 模块
摘要：
社区包含了一个rebar3 的elixir mix 插件，可以方便rebar 使用elixir 模块 参考使用 rebar.config 配置 {erl_opts, [debug_info]}. {deps, [ % 添加引用 {decimal, "2.0.0"} ]}. {shell, [ {ap 阅读全文
posted @ 2023-12-27 09:15 荣锋亮 阅读(13) 评论(0) 推荐(0) 编辑
eqwalizer WhatsApp 开源的erlang类型检查工具
摘要：
可能大家都听说过WhatsApp 对于erlang 使用是比较多的，WhatsApp 的IM 系统就是基于erlang 开发的，同时WhatsApp 也开源了 一些erlang周边的工具eqwalizer 是一个类型检查的，可以与rebar 以及非rebar 项目集成 参考使用 基于rebar的项目 阅读全文
posted @ 2023-12-26 16:31 荣锋亮 阅读(20) 评论(0) 推荐(0) 编辑
dremio hive jdbc arp date 类型问题记录
摘要：
简单记录下碰到的一些问题 分析 arthas stack 查看调用 对于hive 是类似的，我测试的是mysql 的 stack com.mysql.cj.jdbc.result.ResultSetImpl getDate 效果 ffect(class count: 2 , method count 阅读全文
posted @ 2023-12-26 15:26 荣锋亮 阅读(22) 评论(0) 推荐(0) 编辑
pdm符合最新PEP标准的现代python 包以及依赖管理工具
摘要：
pdm符合最新PEP标准的现代python 包以及依赖管理工具 支持的特性 简单快速的维护依赖解析，主要为了构建大的二进制分发 PEP 517 构建后端 PEP 621 项目元数据 灵活强大的插件系统 多功能用户脚本 类似pnpm 的中心化安装优化 安装 命令 使用过的mac 系统的 brew in 阅读全文
posted @ 2023-12-25 18:42 荣锋亮 阅读(66) 评论(0) 推荐(0) 编辑
mqtt 共享订阅简单说明
摘要：
mqtt 是一个比较常用的iot 协议，5.0 支持共享订阅，共享订阅是一个特别方便的功能，可以实现业务的高可用，以及提升消息的处理 参考格式 共享订阅格式 $share/{Share Name}/{Topic Filter} Share Name 是一个共享名称，可以实现业务组的能力，Topic 阅读全文
posted @ 2023-12-24 19:50 荣锋亮 阅读(207) 评论(0) 推荐(0) 编辑
riak_cs elrang 的s3 存储服务
摘要：
riak_cs是riak团队开发的s3兼容存储，基于了riak kv，目前似乎缺少维护了（毕竟已经有不少开源而且更加强大的s3实现了）riak_cs 基于erlang 开发，对于学习下设计还是比较有帮助的，同时也能学习下erlang 项目开发 说明 当然riak 做为一个分布式的no-sql 数据库 阅读全文
posted @ 2023-12-24 11:40 荣锋亮 阅读(10) 评论(0) 推荐(0) 编辑
erlang -type 以及-spec 使用
摘要：
很多时候我们编写的模块方法需要明确的参数类型，方便使用，-type 以及-spec 就提供了此能力 参考使用 app.erl -module(app). -export([myadd/1,mydemo/1]). -type add() :: {integer(), integer()}. -spec 阅读全文
posted @ 2023-12-23 11:33 荣锋亮 阅读(32) 评论(0) 推荐(0) 编辑
fugue 分布式计算通用接口
摘要：
fugue提供了通用方便分布式计算的接口，可以高效的访问大数据项目，提供了python，pandas，sql 等模式如下图 从上图可以看出fugue 提供了一个语义层，我们的计算任务可以运行在ray，dask，spark，以及duckdb 中 参考架构 可以看出fugue 提供了不少方便的能力，比如 阅读全文
posted @ 2023-12-23 10:16 荣锋亮 阅读(27) 评论(0) 推荐(0) 编辑
rebar3 cmake 项目学习
摘要：
erlang 与c 的通信方式，包含了port 以及nif，以下是使用nif 的测试 创建项目 一个lib 一个cmake 命令 rebar3 new lib myapp cd myapp rebar3 new cmake 项目结构 ├── LICENSE.md ├── README.md ├── 阅读全文
posted @ 2023-12-22 15:40 荣锋亮 阅读(13) 评论(0) 推荐(0) 编辑
erlang.mk erlang 应用构建工具
摘要：
erlang.mk erlang 应用构建工具，主要以来了make 进行erlang 应用的构建 安装使用 核心是一个依赖工具，如果安装了xcode，git 以及make 都是包含了的 基础安装 brew install erlang git make 安装erlang.mk wget https: 阅读全文
posted @ 2023-12-22 14:16 荣锋亮 阅读(22) 评论(0) 推荐(0) 编辑
rebar3 参考工作流
摘要：
内容来自官方文档，主要是一个简单的记录，rebar3 包含了比较丰富的工具支持，可以方便erlang 应用开发 选择正确的项目类型 小的工具或者脚本可以选择escript 完整，自包含的执行系统选择release 或者umbrella 在其他系统使用的库可以选择lib或者app 多个库选择umbre 阅读全文
posted @ 2023-12-22 13:43 荣锋亮 阅读(33) 评论(0) 推荐(0) 编辑
rebar3 erlang 项目管理工具
摘要：
rebar3 是erlang 提供的构建，测试以及发布工具 安装 下载 wget https://s3.amazonaws.com/rebar3/rebar3 && chmod +x rebar3 安装 ./rebar3 local install 之后配置环境变量 使用 提供的命令 as High 阅读全文
posted @ 2023-12-22 13:07 荣锋亮 阅读(124) 评论(0) 推荐(0) 编辑
keto ory 团队开源的google zanzibar 实现
摘要：
ory 公司在认证以及授权方面开源了不少东西，keto 就是一个google zanzibar 的开源实现代码基于golang 开发，同时也是提供了rest api 以及grpc 能力，同时还支持一个OPL 的权限模型语言 说明 类似的开源实现有不少，permify 也是一个，还有openfga，都 阅读全文
posted @ 2023-12-21 21:38 荣锋亮 阅读(78) 评论(0) 推荐(0) 编辑
基于pg driver 的dremio cratedb arp 扩展
摘要：
实际上pg 驱动是可以直接链接cratedb 的但是因为默认实现会自动添加一个编码造成生成的sql 在cratedb 运行异常 参考代码 核心是arp 方言处理上，移除了关于编码的处理，实际上与mssql server 处理是一样的,主要代码实际上来自ce 版本的pg 扩展 public SqlCo 阅读全文
posted @ 2023-12-21 21:31 荣锋亮 阅读(10) 评论(0) 推荐(0) 编辑
以前开发的一些dremio arp 扩展24.3 更新
摘要：
以前开发过一些简单的arp 扩展（核心还是修改的ce 版本的），dremio 发布24.3版本了，但是有不少调整，造成以前的不能使用了目前已经将以前开发的都更新了 my-dremio-mssql-connector 主要是解决中文乱码问题 cratedb-dremio-connector 支持链接c 阅读全文
posted @ 2023-12-21 17:23 荣锋亮 阅读(8) 评论(0) 推荐(0) 编辑
dremio 24.3 版本构建的一些问题
摘要：
dremio 24.3 社区版代码提供了，从官方文档来看，构建与以前不太一样了，以下是构建中一些问题说明 主要问题 jdk 需要同时包含jdk8 以及jdk11, maven 配置toolchains WARNING: Failed to export metrics.Server responde 阅读全文
posted @ 2023-12-21 14:51 荣锋亮 阅读(43) 评论(0) 推荐(0) 编辑
maven toolchains 简单说明
摘要：
很多时候我们项目可以会包含需要不同jdk 构建，比如有些只能使用jdk8，有些需要使用jdk11，toolchains 可以帮助我们解决此问题 一般玩法 创建一个toolchains.xml 目录，放到home 目录下，里边配置实际需要的jdk 版本（我们的环境可以安装多jdk） 项目构建的时候（使 阅读全文
posted @ 2023-12-21 14:42 荣锋亮 阅读(246) 评论(0) 推荐(0) 编辑
permify google zanzibar 类似的开源授权服务实现
摘要：
permify google zanzibar 类似的开源授权服务实现，openfga 也是一个类似的开源实现 参考架构 从下图可以看出permify主要包含了四个组件，Permission Server，Relationship Server，Schema Server，Watch Server 阅读全文
posted @ 2023-12-21 12:56 荣锋亮 阅读(37) 评论(0) 推荐(0) 编辑
dremio arp 扩展开发icon问题
摘要：
好久没太注意dremio 内部的变动了，结果今天在自己开发arp 扩展i升级到24.3 的时候发现icon 看不到，刚好官方发布了 24.3 的源码，顺着看了下发现是icon 已经不在arp 扩展中提供了，而是直接放到了ui 组件中了 参考图 解决方法 直接替换ui-lib jar 包 自己编译ui 阅读全文
posted @ 2023-12-21 11:50 荣锋亮 阅读(8) 评论(0) 推荐(0) 编辑
dremio 24.3.0 arp 扩展变动
摘要：
dremio 24.3.0 版本发布了，在测试arp 扩展的是否发现有一些问题，通过对于历史版本，发现主要是一个包的变动 参考对比 24.3.0 之前的 24.3.0 版本的 说明 对于以前开发的arp 扩展都需要重新调整并构建，才能确保与24.3.0 版本兼容，我以前开发的一些扩展后边会更新下 参 阅读全文
posted @ 2023-12-21 09:35 荣锋亮 阅读(5) 评论(0) 推荐(0) 编辑
dremio 24.3.0 发布
摘要：
24.3 版本对于bugfix 以及新功能都是不少的 一些比较方便的新功能 支持parquet v2 文件， 支持元数据清理命令 VACUUM CATALOG CTAS 支持排序 Array 相关操作函数的提供 对于以及基于文件的数据源系统支持，自动的增量以及全量反射处理 parquet 文件字典编 阅读全文
posted @ 2023-12-21 09:24 荣锋亮 阅读(24) 评论(0) 推荐(0) 编辑
page-spy-web 一个方便的web 远程调试工具
摘要：
page-spy-web 一个方便的web 远程调试工具，可以实现像chrome 一样debug 远程web，同时也提供了比较专业的web 管理 运行 docker-compose version: "3" services: app: image: ghcr.io/huolalatech/page 阅读全文
posted @ 2023-12-19 19:11 荣锋亮 阅读(233) 评论(0) 推荐(0) 编辑
uniffi-rs rust 多语言bindings 生成工具
摘要：
uniffi-rs 是基于webidl 描述定义，然后生成不同语言bindings 的工具，此工具是在学习pyo3的maturin 工具看到的，整理记录下 参考玩法 目前支持的语言 官方支持的包含了Kotlin,Swift,Python,Ruby 当然还有不少社区的实现，比如支持C#以及golang 阅读全文
posted @ 2023-12-19 11:05 荣锋亮 阅读(103) 评论(0) 推荐(0) 编辑
maturin 简单试用
摘要：
前边也简单介绍了maturin 是pyo3 推荐的rust python 模块开发首选工具,以下是一个简单的试用 项目准备 初始化项目 mkdir first cd first python -m venv venv source venv/bin/activate pip install matu 阅读全文
posted @ 2023-12-19 10:44 荣锋亮 阅读(186) 评论(0) 推荐(0) 编辑
maturin 方便发布基于rust 的python 包工具
摘要：
maturin 是PyO3团队开发的，方便我们开发基于rust 的python 包，比如PyO3 的使用文档中就使用了此工具 安装&使用 安装(可选，可以基于venv 安装) 可以基于pip 以及pipx pipx install maturin 创建一个简单项目 python -m venv .v 阅读全文
posted @ 2023-12-18 11:23 荣锋亮 阅读(161) 评论(0) 推荐(0) 编辑
electric 基于pg 的现代应用的同步层框架
摘要：
electric 是使用Elixir 开发的基于pg 的应用数据同步层中间件，electric 支持多种集成模式 支持模式 drivers 支持基于sqlite 的应用同步，包含了本地，移动端，以及后端 前端支持 包含了对于一些主流前端框架的支持 后端 对于各种后端框架的支持 对于evnet sou 阅读全文
posted @ 2023-12-18 09:51 荣锋亮 阅读(35) 评论(0) 推荐(0) 编辑
cargo-make rust 任务执行以及构建工具
摘要：
再学习nakago 框架的时候发现其使用了cargo-make 这个工具，但是很方便，类似make 的构建模式 包含的特性 依赖管理，别名支持，支持workspace 简单使用 安装 cargo install --force cargo-make 参考使用 创建一个cargo 项目 cargo n 阅读全文
posted @ 2023-12-18 09:30 荣锋亮 阅读(150) 评论(0) 推荐(0) 编辑
nakago 轻量级rust 框架
摘要：
nakago 轻量级rust 框架，还处于早期阶段 包含的特性 依赖注入 基于Axum 的http adapter 基于seaORM 的sql adapter 基于async_graphql 的graphql adapter 基于CQRS-ES 的CQRS adapter （即将实现） 说明 nak 阅读全文
posted @ 2023-12-18 09:14 荣锋亮 阅读(15) 评论(0) 推荐(0) 编辑
基于dremio dbt 实现dremio 语义层建模的简单说明
摘要：
简单说明下基于dbt +dremio 的语义层建模 参考玩法 如下图 简单说明 关于基于sql 模式的语义层建模详细的可以直接参考官方文档，我只简单说明下关于dbt 与dremio 集成的 集成简单说明 对于每个领域的子模型，可以包含自己的s3（按需，也可以共享，但是注意命名区分），对于每个dbt 阅读全文
posted @ 2023-12-15 16:31 荣锋亮 阅读(48) 评论(0) 推荐(0) 编辑
dremio dbt adapter 一些简单说明
摘要：
dbt-dremio 是dremio 官方维护的dbt adapter ，目前还在持续迭代中 官方参考玩法 实际上核心是基于dbt +dremio 进行模型的创建 内部集成玩法 对于我们实际运行是需要对象存储服务的（比如使用minio），对象存储做为实际数据的物理存储，同时会使用apache ice 阅读全文
posted @ 2023-12-15 15:29 荣锋亮 阅读(23) 评论(0) 推荐(0) 编辑
containerd-wasm-shims k8s 运行webassembly 的containerd shim
摘要：
containerd-wasm-shims 属于一个包装，基于了runwasi 可以实现在k8ss 中运行webassembly 工作负载，使用上提供了多种wasm 应用runtimes 以及扩展，同时目前KWasm组织也包装了一个k8s operator 实现方便的部署 说明 基于webassem 阅读全文
posted @ 2023-12-14 16:24 荣锋亮 阅读(39) 评论(0) 推荐(0) 编辑
naxsi nginx 低规则维护的waf 扩展
摘要：
naxsi nginx 低规则维护的waf 扩展，使用了libpcre 以及libinjection 工具，核心主要是处理xss 以及sql 注入类型的处理 说明 基于nginx 的开源waf 还是比较多的，naxsi 做为一个工具，可以尝试下 参考资料 https://github.com/war 阅读全文
posted @ 2023-12-14 14:59 荣锋亮 阅读(24) 评论(0) 推荐(0) 编辑
exiftool一个强大的文件元数据查看工具
摘要：
exiftool是一个强大的文件元数据查看工具，支持比较多的文档元数据信息查看 参考使用 一个比较简单的使用，使用此工具分析百度文库转换出来的文档元数据信息 命令 ./Image-ExifTool-12.70/exiftool rong.pdf 效果 如下，可以看出百度的文档转换pdf 处理应该是使 阅读全文
posted @ 2023-12-14 14:49 荣锋亮 阅读(95) 评论(0) 推荐(0) 编辑
pypy 高性能python 解释器
摘要：
pypy 是基于RPython 语言开发的cpython 替换工具 包含的特性 高速 使用了JIT 技术，运行比较快 可以支持基于无栈模式 沙箱支持 对于现有python 周边的支持比较好 当然可能也会有问题，但是大部分运行是可以的 参考使用 一个基于ffi 的集成，实际上目前pypy 已经集成了c 阅读全文
posted @ 2023-12-14 09:32 荣锋亮 阅读(30) 评论(0) 推荐(0) 编辑
cbindgen rust 代码生成c binding 的工具
摘要：
rust 与c 以及c 与rust 的互调用还是比较常见的需求，很多时候自己写可能比较费事，但是使用一些工具就比较方便了 cbindgen 是一个对于rust 代码生成c binding 的工具 参考使用 基于cbindgen 将rust 的代码生成对应的c 头文件，之后基于cmake 构建项目 项 阅读全文
posted @ 2023-12-13 16:58 荣锋亮 阅读(251) 评论(0) 推荐(0) 编辑
dremio 的虚拟数据集市
摘要：
实际上术语来自dremio 的一篇博客，实际上官方也提供了如何创建自服务语义层的实践 博客中玩法的简单说明 官方的说明是参考如下流程 创建业务单元 基于文件夹的玩法 数据源集成以及视图创建 实际上就是基于数据源进行vds的处理 访问控制以及权限处理 用户数据管理以及data mesh 界面以及自动化 阅读全文
posted @ 2023-12-13 14:47 荣锋亮 阅读(32) 评论(0) 推荐(0) 编辑
emnapi node-api 的webassembly 实现工具
摘要：
emnapi 是一个比较有意思的工具，可以帮助我们快速的实现将node-api 的模块构建为webassembly 模块可以帮助我们呢尽量少的修改node addon 代码就能转换为webassembly 模块 说明 目前已经有一些模块就使用了此工具（sharp）目前来说还是有一些问题，但是还是值得 阅读全文
posted @ 2023-12-12 20:20 荣锋亮 阅读(13) 评论(0) 推荐(0) 编辑
surrealdb tikv 集成试用
摘要：
内容来自官方文档，主要体验下surrealdb 与tikv 的集成 启动tikv 使用了官方提供的快速安装 命令 curl --proto '=https' --tlsv1.2 -sSf https://tiup-mirrors.pingcap.com/install.sh | sh tiup up 阅读全文
posted @ 2023-12-12 16:57 荣锋亮 阅读(69) 评论(0) 推荐(0) 编辑
dioxus 桌面渲染简单说明
摘要：
dioxus 是基于rust 开发的支持跨平台应用开发的框架，对于桌面的支持是利用了tauri 提供的一些工具包 目前来说是利用了tao 以及wry 参考使用 添加引用 核心是添加desktop 的cargo cargo add dioxus cargo add dioxus-desktop 代码 阅读全文
posted @ 2023-12-12 15:01 荣锋亮 阅读(188) 评论(0) 推荐(0) 编辑
