随笔分类 -  云运维&&云架构

上一页 1 ··· 27 28 29 30 31 32 33 34 35 ··· 187 下一页

rebar3 参考工作流
摘要:内容来自官方文档,主要是一个简单的记录,rebar3 包含了比较丰富的工具支持,可以方便erlang 应用开发 选择正确的项目类型 小的工具或者脚本可以选择escript 完整,自包含的执行系统选择release 或者umbrella 在其他系统使用的库可以选择lib或者app 多个库选择umbre 阅读全文

posted @ 2023-12-22 13:43 荣锋亮 阅读(42) 评论(0) 推荐(0) 编辑

rebar3 erlang 项目管理工具
摘要:rebar3 是erlang 提供的构建,测试以及发布工具 安装 下载 wget https://s3.amazonaws.com/rebar3/rebar3 && chmod +x rebar3 安装 ./rebar3 local install 之后配置环境变量 使用 提供的命令 as High 阅读全文

posted @ 2023-12-22 13:07 荣锋亮 阅读(151) 评论(0) 推荐(0) 编辑

keto ory 团队开源的google zanzibar 实现
摘要:ory 公司在认证以及授权方面开源了不少东西,keto 就是一个google zanzibar 的开源实现代码基于golang 开发,同时也是提供了rest api 以及grpc 能力,同时还支持一个OPL 的权限模型语言 说明 类似的开源实现有不少,permify 也是一个,还有openfga,都 阅读全文

posted @ 2023-12-21 21:38 荣锋亮 阅读(142) 评论(0) 推荐(0) 编辑

基于pg driver 的dremio cratedb arp 扩展
摘要:实际上pg 驱动是可以直接链接cratedb 的但是因为默认实现会自动添加一个编码造成生成的sql 在cratedb 运行异常 参考代码 核心是arp 方言处理上,移除了关于编码的处理,实际上与mssql server 处理是一样的,主要代码实际上来自ce 版本的pg 扩展 public SqlCo 阅读全文

posted @ 2023-12-21 21:31 荣锋亮 阅读(12) 评论(0) 推荐(0) 编辑

以前开发的一些dremio arp 扩展24.3 更新
摘要:以前开发过一些简单的arp 扩展(核心还是修改的ce 版本的),dremio 发布24.3版本了,但是有不少调整,造成以前的不能使用了目前已经将以前开发的都更新了 my-dremio-mssql-connector 主要是解决中文乱码问题 cratedb-dremio-connector 支持链接c 阅读全文

posted @ 2023-12-21 17:23 荣锋亮 阅读(11) 评论(0) 推荐(0) 编辑

permify google zanzibar 类似的开源授权服务实现
摘要:permify google zanzibar 类似的开源授权服务实现,openfga 也是一个类似的开源实现 参考架构 从下图可以看出permify主要包含了四个组件,Permission Server,Relationship Server,Schema Server,Watch Server 阅读全文

posted @ 2023-12-21 12:56 荣锋亮 阅读(115) 评论(0) 推荐(0) 编辑

dremio arp 扩展开发icon问题
摘要:好久没太注意dremio 内部的变动了,结果今天在自己开发arp 扩展i升级到24.3 的时候发现icon 看不到,刚好官方发布了 24.3 的源码,顺着看了下发现是icon 已经不在arp 扩展中提供了,而是直接放到了ui 组件中了 参考图 解决方法 直接替换ui-lib jar 包 自己编译ui 阅读全文

posted @ 2023-12-21 11:50 荣锋亮 阅读(9) 评论(0) 推荐(0) 编辑

dremio 24.3.0 arp 扩展变动
摘要:dremio 24.3.0 版本发布了,在测试arp 扩展的是否发现有一些问题,通过对于历史版本,发现主要是一个包的变动 参考对比 24.3.0 之前的 24.3.0 版本的 说明 对于以前开发的arp 扩展都需要重新调整并构建,才能确保与24.3.0 版本兼容,我以前开发的一些扩展后边会更新下 参 阅读全文

posted @ 2023-12-21 09:35 荣锋亮 阅读(9) 评论(0) 推荐(0) 编辑

dremio 24.3.0 发布
摘要:24.3 版本对于bugfix 以及新功能都是不少的 一些比较方便的新功能 支持parquet v2 文件, 支持元数据清理命令 VACUUM CATALOG CTAS 支持排序 Array 相关操作函数的提供 对于以及基于文件的数据源系统支持,自动的增量以及全量反射处理 parquet 文件字典编 阅读全文

posted @ 2023-12-21 09:24 荣锋亮 阅读(33) 评论(0) 推荐(0) 编辑

uniffi-rs rust 多语言bindings 生成工具
摘要:uniffi-rs 是基于webidl 描述定义,然后生成不同语言bindings 的工具,此工具是在学习pyo3的maturin 工具看到的,整理记录下 参考玩法 目前支持的语言 官方支持的包含了Kotlin,Swift,Python,Ruby 当然还有不少社区的实现,比如支持C#以及golang 阅读全文

posted @ 2023-12-19 11:05 荣锋亮 阅读(218) 评论(0) 推荐(0) 编辑

maturin 简单试用
摘要:前边也简单介绍了maturin 是pyo3 推荐的rust python 模块开发首选工具,以下是一个简单的试用 项目准备 初始化项目 mkdir first cd first python -m venv venv source venv/bin/activate pip install matu 阅读全文

posted @ 2023-12-19 10:44 荣锋亮 阅读(310) 评论(0) 推荐(0) 编辑

maturin 方便发布基于rust 的python 包工具
摘要:maturin 是PyO3团队开发的,方便我们开发基于rust 的python 包,比如PyO3 的使用文档中就使用了此工具 安装&使用 安装(可选,可以基于venv 安装) 可以基于pip 以及pipx pipx install maturin 创建一个简单项目 python -m venv .v 阅读全文

posted @ 2023-12-18 11:23 荣锋亮 阅读(334) 评论(0) 推荐(0) 编辑

electric 基于pg 的现代应用的同步层框架
摘要:electric 是使用Elixir 开发的基于pg 的应用数据同步层中间件,electric 支持多种集成模式 支持模式 drivers 支持基于sqlite 的应用同步,包含了本地,移动端,以及后端 前端支持 包含了对于一些主流前端框架的支持 后端 对于各种后端框架的支持 对于evnet sou 阅读全文

posted @ 2023-12-18 09:51 荣锋亮 阅读(62) 评论(0) 推荐(0) 编辑

cargo-make rust 任务执行以及构建工具
摘要:再学习nakago 框架的时候发现其使用了cargo-make 这个工具,但是很方便,类似make 的构建模式 包含的特性 依赖管理,别名支持,支持workspace 简单使用 安装 cargo install --force cargo-make 参考使用 创建一个cargo 项目 cargo n 阅读全文

posted @ 2023-12-18 09:30 荣锋亮 阅读(326) 评论(0) 推荐(0) 编辑

nakago 轻量级rust 框架
摘要:nakago 轻量级rust 框架,还处于早期阶段 包含的特性 依赖注入 基于Axum 的http adapter 基于seaORM 的sql adapter 基于async_graphql 的graphql adapter 基于CQRS-ES 的CQRS adapter (即将实现) 说明 nak 阅读全文

posted @ 2023-12-18 09:14 荣锋亮 阅读(25) 评论(0) 推荐(0) 编辑

基于dremio dbt 实现dremio 语义层建模的简单说明
摘要:简单说明下基于dbt +dremio 的语义层建模 参考玩法 如下图 简单说明 关于基于sql 模式的语义层建模详细的可以直接参考官方文档,我只简单说明下关于dbt 与dremio 集成的 集成简单说明 对于每个领域的子模型,可以包含自己的s3(按需,也可以共享,但是注意命名区分),对于每个dbt 阅读全文

posted @ 2023-12-15 16:31 荣锋亮 阅读(60) 评论(0) 推荐(0) 编辑

dremio dbt adapter 一些简单说明
摘要:dbt-dremio 是dremio 官方维护的dbt adapter ,目前还在持续迭代中 官方参考玩法 实际上核心是基于dbt +dremio 进行模型的创建 内部集成玩法 对于我们实际运行是需要对象存储服务的(比如使用minio),对象存储做为实际数据的物理存储,同时会使用apache ice 阅读全文

posted @ 2023-12-15 15:29 荣锋亮 阅读(29) 评论(0) 推荐(0) 编辑

containerd-wasm-shims k8s 运行webassembly 的containerd shim
摘要:containerd-wasm-shims 属于一个包装,基于了runwasi 可以实现在k8ss 中运行webassembly 工作负载,使用上提供了多种wasm 应用runtimes 以及扩展,同时目前KWasm组织也包装了一个k8s operator 实现方便的部署 说明 基于webassem 阅读全文

posted @ 2023-12-14 16:24 荣锋亮 阅读(62) 评论(0) 推荐(0) 编辑

naxsi nginx 低规则维护的waf 扩展
摘要:naxsi nginx 低规则维护的waf 扩展,使用了libpcre 以及libinjection 工具,核心主要是处理xss 以及sql 注入类型的处理 说明 基于nginx 的开源waf 还是比较多的,naxsi 做为一个工具,可以尝试下 参考资料 https://github.com/war 阅读全文

posted @ 2023-12-14 14:59 荣锋亮 阅读(39) 评论(0) 推荐(0) 编辑

exiftool一个强大的文件元数据查看工具
摘要:exiftool是一个强大的文件元数据查看工具,支持比较多的文档元数据信息查看 参考使用 一个比较简单的使用,使用此工具分析百度文库转换出来的文档元数据信息 命令 ./Image-ExifTool-12.70/exiftool rong.pdf 效果 如下,可以看出百度的文档转换pdf 处理应该是使 阅读全文

posted @ 2023-12-14 14:49 荣锋亮 阅读(239) 评论(0) 推荐(0) 编辑

上一页 1 ··· 27 28 29 30 31 32 33 34 35 ··· 187 下一页

导航