dart grpc 试用
摘要：
主要是体验下dart grpc 的集成试用,grpc 对于dart 的支持也是基于了插件生成代码，然后我们可以基于生成的代码创建实现，client 进行调用 参考项目 代码来自官方示例 proto 定义 syntax = "proto3"; option java_multiple_files = 阅读全文
posted @ 2023-10-20 10:57 荣锋亮 阅读(82) 评论(0) 推荐(0) 编辑
dremio hive 连接
摘要：
dremio 对于hive 的连接实际上有两种方法，一种使用的是hive 的meta store ,一种是使用的hive jdbc server第一中是官方支持的，第二种官方缺少直接的支持，需要自己开发相关的arp 扩展 一些参考实现 cdata 目前提供了一个开源实现，但是jdbc 驱动使用的是自 阅读全文
posted @ 2023-10-20 09:19 荣锋亮 阅读(64) 评论(0) 推荐(0) 编辑
centos xxd 工具的安装
摘要：
今天在看tinyml ，提供使用到了一个叫做xxd 的工具，用来将tensofflow lite 的模型文件转换为c 格式的 xxd 工具centos 在中没有独立的包，而是集成在vim-common 中 安装 yum install -y vim-common 参考资料 https://stack 阅读全文
posted @ 2023-10-19 14:17 荣锋亮 阅读(193) 评论(0) 推荐(0) 编辑
httptoolkit 方便的http(s) 请求拦截工具
摘要：
httptoolkit 是一个开源工具，支持http(s) 的拦截，可以方便查询请求数据，同时进行重写以及mock 操作 说明 httptoolkit 是开源的，同时支持多样的mock 操作是一个很不错的数据抓包工具，以下是支持的一些工具 参考资料 https://httptoolkit.com/h 阅读全文
posted @ 2023-10-19 10:25 荣锋亮 阅读(385) 评论(0) 推荐(0) 编辑
pgspider 3.1.0 发布
摘要：
从最近一段时间pgspider 迭代速度似乎是很快 新版本支持的特性 数据迁移 支持本地表，外表等的迁移 路由添加 并行存储函数 支持批量insert 的表修改 不少开发的fdw 的更新 说明 pgspider 最近的迭代速度的确是快了不少，一些新功能也是值得试用的 参考资料 https://git 阅读全文
posted @ 2023-10-19 09:18 荣锋亮 阅读(48) 评论(0) 推荐(0) 编辑
通过npm overrides 解决cube.js oracle driver 依赖oracle 版本问题
摘要：
以前我通过替换解决的（适合容器场景），以下是使用npm 自带的特性解决 项目配置 package.json 如下，替换@cubejs-backend/oracle-driver 包以来的oracle 包为新安装的 { "name": "demo-app", "version": "0.0.1", " 阅读全文
posted @ 2023-10-18 16:40 荣锋亮 阅读(111) 评论(0) 推荐(0) 编辑
keydb 6.3.3 modjs docker 镜像
摘要：
keydb 6.3.3 已经发布一段时间了，但是ModJS 的支持镜像一直还没有提供，就基于现有的基础镜像搞了一个 方便学习使用 Dockerfile FROM eqalpha/modjs as base FROM eqalpha/keydb:latest RUN mkdir -p /usr/lib 阅读全文
posted @ 2023-10-18 15:23 荣锋亮 阅读(53) 评论(0) 推荐(0) 编辑
cube.js oracle 新版本npm 包支持
摘要：
cube.js 目前来说是越来越复杂了（不是代码多复杂，而且融合了不少三方语言,python,rust, node addon java）如果网络不是很好的情况下 编译cube.js 是极其痛苦的，而且不少依赖问题，cube.js 实际上很早就支持oracle，但是今天oracle 比较给力提供了基 阅读全文
posted @ 2023-10-18 13:18 荣锋亮 阅读(25) 评论(0) 推荐(0) 编辑
pino 一个很不错的node log 框架
摘要：
pino 是一个很不错的nodejs 日志框架，fastify 就集成了此框架,而且提供了不少框架的扩展，可以方便集成（express，koa，nest，hapi。。。） 参考使用 app.js const pino = require('pino') const logger = pino({ t 阅读全文
posted @ 2023-10-18 09:51 荣锋亮 阅读(459) 评论(0) 推荐(0) 编辑
env-schema 环境变量check npm 包
摘要：
基于nodejs 的应用开发中基于环境变量的配置管理是很场景的，env-schema 是一个集成了json schema 以及dotenv 工具的一个npm包 可以增强基于dotenv 的配置管理（缺少check） 参考试用 app.js const envSchema = require('env 阅读全文
posted @ 2023-10-17 16:16 荣锋亮 阅读(20) 评论(0) 推荐(0) 编辑
oso 基于rust 开发的授权框架
摘要：
oso 基于rust 开发的授权框架,oso 与以前介绍的一些基于策略的授权框架类似，也是包含了策略定义，同时提供了主流开发语言的sdk，包含了自己的特点:(模型，策略，测试)，oso对于测试处理开发了自己的 polar 语言 一些特性 支持多租户 支持rbac 支持过滤以及类似文件与文件夹管理的能 阅读全文
posted @ 2023-10-17 14:11 荣锋亮 阅读(169) 评论(0) 推荐(0) 编辑
fastify-awilix 基于awilix 的fastify 依赖注入扩展
摘要：
依赖注入是一个很不错的开发模式，可以帮助我们开发灵活的业务服务，fastify-awilix 是基于awilix 实现的一个fastify扩展 说明 目前nodejs 的ioc 框架也是很多的，fastify-awilix 属于官方提供的一个扩展，还是挺不错的，值得试用下 参考资料 https:// 阅读全文
posted @ 2023-10-17 13:46 荣锋亮 阅读(46) 评论(0) 推荐(0) 编辑
fastify-sensible fastify 一些工具类插件
摘要：
fastify-sensible 是来自官方的一个插件，提供了一些默认实现（实际上就是一些方便的工具类）方便使用 说明 对于基于fastify 开发的一些接口服务，通用的http 状态码，以及异常处理fastify-sensible 是一个很不错的工具包 参考资料 https://github.co 阅读全文
posted @ 2023-10-17 13:34 荣锋亮 阅读(58) 评论(0) 推荐(0) 编辑
fastify-autoload + ncc + s3 实现模块的插件化开发加载
摘要：
以前简单说明过基于fastify-autoload 的插件化加载fastify插件，方便实现开发，但是对于实际生产环境我们可以需要频繁的模块修改，发布以及构建，所以需要我们需要频繁的调整，不是很方便,我们可以基于ncc 进行入口的打包，同时对于每个插件也基于ncc 打包为独立的文件，这样我们开发的插 阅读全文
posted @ 2023-10-17 13:23 荣锋亮 阅读(108) 评论(0) 推荐(0) 编辑
fastify-autoload 一个方便的插件动态加载包
摘要：
fastify-autoload 是一个方便的fastify 插件加载工具，我们可以基于路径直接加载开发的插件 参考使用 配置 const Fastify = require('fastify') const path = require("path") const autoLoad = requi 阅读全文
posted @ 2023-10-17 09:50 荣锋亮 阅读(168) 评论(0) 推荐(0) 编辑
remotion 基于react 创建视频的框架
摘要：
remotion 可以让我们直接基于react 创建视频,使用到的技术webgl，css,canvas,svg 说明 对于希望使用web 创建使用的场景这个是一个不错的选择（比如营销动画），很值得学习下 参考资料 https://www.remotion.dev/docs/https://githu 阅读全文
posted @ 2023-10-15 17:55 荣锋亮 阅读(129) 评论(0) 推荐(0) 编辑
node-oracledb typeorm 集成试用
摘要：
主要是测试下typeorm与node-oracledb thin 模式的集成 环境准备 docker-compose 文件 version: '3' services: db: image: gvenzl/oracle-xe:21.3.0-slim ports: - "1521:1521" envi 阅读全文
posted @ 2023-10-14 21:55 荣锋亮 阅读(26) 评论(0) 推荐(0) 编辑
openfga google Zanzibar 开源实现
摘要：
openfga google Zanzibar 开源实现,是一个实现了rebac 模式的授权解决方案，开发语言基于了golang 说明 对于希望实现细粒度访问控制的应该也是值得学习参考的，同时openfga 也实现了主流开发语言的sdk 参考资料 https://github.com/openfga 阅读全文
posted @ 2023-10-14 18:03 荣锋亮 阅读(161) 评论(0) 推荐(0) 编辑
opal 基于policy agent 的数据授权开源方案
摘要：
opal 核心是基于了开源的策略引擎开发了自己的授权解决方案 参考架构 设计上使用的开源组件 open policy agent 当然也是在支持基于aws cedar 的 fastapi 基于python 的web api 服务 fastapi websocket pubub 服务实现实时更新的 b 阅读全文
posted @ 2023-10-14 17:51 荣锋亮 阅读(44) 评论(0) 推荐(0) 编辑
label-studio docker-compose 运行试用
摘要：
label-studio 是一个支持多格式的数据标注工具，以下是基于docker-compose 运行的试用 环境准备 docker-compose version: "3.9" services: nginx: image: heartexlabs/label-studio:latest port 阅读全文
posted @ 2023-10-14 09:48 荣锋亮 阅读(552) 评论(0) 推荐(0) 编辑
一些开源数据标注工具
摘要：
整理一些工具，方便学习使用 doccano 主要是进行文本处理的 label-studio 比较强大的工具，支持多种数据处理，目前迭代升级也比较快速 audino 进行声音标注的工具，目前不是很活跃了，好久没新的提交信息了 abel-studio-converter label-studio 提供的 阅读全文
posted @ 2023-10-14 08:42 荣锋亮 阅读(337) 评论(0) 推荐(0) 编辑
http2 CVE-2023-44487安全问题
摘要：
属于CVE-2023-44487 安全问题，目前似乎影响的web server 不少，还是应该结合最近的软件补丁进行修改 参考资料 https://nvd.nist.gov/vuln/detail/CVE-2023-44487https://hg.nginx.org/nginx/rev/cdda28 阅读全文
posted @ 2023-10-12 23:39 荣锋亮 阅读(1823) 评论(0) 推荐(0) 编辑
cerbos minio s3 存储试用
摘要：
cerbos 支持blob 存储，以下是关于minio s3 的集成试用 环境准备 docker-compose version: "3" services: minio: image: minio/minio ports: - "9000:9000" - "9001:9001" command: 阅读全文
posted @ 2023-10-12 22:38 荣锋亮 阅读(39) 评论(0) 推荐(0) 编辑
cerbos 参考试用
摘要：
主要是基于本地存储策略，使用nodejs 的客户端进行认证的试用 环境准备 docker-compose version: "3" services: cerbos: image: ghcr.io/cerbos/cerbos:latest volumes: - ./policies:/policie 阅读全文
posted @ 2023-10-12 21:01 荣锋亮 阅读(35) 评论(0) 推荐(0) 编辑
cerbos 参考部署架构
摘要：
cerbos 官方提供了几种部署模式，很值得学习参考，这样才能保证我们业务系统的可靠稳定 参考部署模式 集中式模式 此模式结合负载均衡器，可以部署多cerbos示例，然后共享策略定义，应用通过lb 提供的地址进行连接 sidecar 模式 比较适合容器运行的场景，每个业务pod 会有一个独立运行的c 阅读全文
posted @ 2023-10-12 20:43 荣锋亮 阅读(42) 评论(0) 推荐(0) 编辑
cerbos 开源语言无关的授权解决方案
摘要：
cerbos 实现了与casbin 类似的功能，但是casbin 需要自己基于adapter 实现数据存储的处理，cerbos 核心主要是配置策略，然后基于传递的数据进行check 参考架构 业务使用 说明 策略定义上与casbin 以及aws iam 的一些玩法比较类似，但是cerbos 提供了g 阅读全文
posted @ 2023-10-12 16:11 荣锋亮 阅读(98) 评论(0) 推荐(0) 编辑
nodejs xxl-job-executor 客户端试用
摘要：
代码fork 自awesomeoxc/xxl-job-executor-nodejs，进行了一些以来包的升级，同时发布npm包到npm 仓库中，方便使用 npm 包名称 npm 包我已经发布npm 仓库中了，可以直接使用@dalongrong/xxl-job-executor 参考使用 安装 npm 阅读全文
posted @ 2023-10-11 14:30 荣锋亮 阅读(363) 评论(0) 推荐(0) 编辑
mountpoint-s3 ga 并提供了安装包
摘要：
mountpoint-s3 就在最近ga 了，同时还提供了rpm 以及deb 包，可以方便安装使用 安装 直接下载对应的包，安装就可以了，比如下载rpm 的然后yum install 就可以了，但是因为默认没有systemd 管理，需要自己配置 参考使用 环境配置 version: "3" serv 阅读全文
posted @ 2023-10-11 10:17 荣锋亮 阅读(26) 评论(0) 推荐(0) 编辑
node-oracledb thin 模式试用
摘要：
node-oracledb client 已经支持thin 模式了，npm 包小了很多，以下是一个测试 环境准备 基于容器部署的oracle docker-compose version: '3' services: db: image: gvenzl/oracle-xe:21.3.0-slim p 阅读全文
posted @ 2023-10-08 20:10 荣锋亮 阅读(117) 评论(0) 推荐(0) 编辑
node-oracledb nodejs 包支持thin 模式了
摘要：
node-oracledb 从v6.0.0 版本来时支持thin 模式了，是基于纯javascript 开发的驱动，我们终于可以不用依赖比较笨重的oracle client 了属于一个很大的进度，同时python 版本也是支持thin 模式了，我以前也简单介绍过 参考资料 https://githu 阅读全文
posted @ 2023-10-08 19:04 荣锋亮 阅读(154) 评论(0) 推荐(0) 编辑
retrofit.dart retrofit 的dart 版本实现
摘要：
retrofit.dart retrofit 的dart 版本实现，利用了代码生成技术，不像java 使用的是动态代理，以下是一个参考试用 项目集成 依赖配置 name: cli description: A sample command-line application. version: 1.0 阅读全文
posted @ 2023-10-08 18:20 荣锋亮 阅读(53) 评论(0) 推荐(0) 编辑
pgtune pg 配置优化工具
摘要：
pgtune 是一个web 工具，可以基于一些最佳实践提供pg server 的配置，对于想快速进行pg 数据库优化的是一个不错的工具使用简单，同时也提供了web site 可以方便使用 参考资料 https://github.com/le0pard/pgtunehttps://pgtune.leo 阅读全文
posted @ 2023-10-08 09:13 荣锋亮 阅读(115) 评论(0) 推荐(0) 编辑
使用jprofiler 14 查看dremio 的grpc 调用
摘要：
我以前也写过使用就profiler分析dremio 调用链的，jprofiler 14 支持独立的grpc 功能节点了，可以方便我们了解dremio 内部grpc 的调用机制 环境配置 这个就比较简单了，具体可以参考我以前写的文章（包含了基于agent 模式以及attach 模式的） 参考效果 参考 阅读全文
posted @ 2023-10-07 12:48 荣锋亮 阅读(54) 评论(0) 推荐(0) 编辑
python 3.12.0 perf 试用
摘要：
python 3.12.0 的发布，官方支持了基于perf 的调用链分析，基于容器搞了一个简单的环境测试下 环境准备 包含了包含perf 的python 基础镜像，以及一个使用flask 的web 服务, 使用flamescope 的可视化页面分析 docker-compose 文件 version 阅读全文
posted @ 2023-10-07 12:29 荣锋亮 阅读(128) 评论(0) 推荐(0) 编辑
maestro studio 简化编写测试worflow 的工具
摘要：
对于自己编写workflow 有时可能会比较复杂，maestro studio提供了基于ai 的强大能力，同时可以实时模拟器的页面与web 集成对于测试人员来说是一个很不错的选择，很值得看看，同时因为maestro studio 也是开源的，代码上也值得学习参考 参考资料 https://maest 阅读全文
posted @ 2023-10-07 10:52 荣锋亮 阅读(37) 评论(0) 推荐(0) 编辑
maestro ios 简单试用
摘要：
主要是体验下maestro 的使用 预备 对于ios 需要以来facebook 的idb 需要安装 参考安装命令 brew tap facebook/fb brew install facebook/fb/idb-companion 试用 下载示例 直接使用maestro 自带的 maestro d 阅读全文
posted @ 2023-10-07 10:43 荣锋亮 阅读(55) 评论(0) 推荐(0) 编辑
maestro 移动ui 自动化测试框架
摘要：
maestro 是一个移动ui 自动化测试框架，基于yaml 定义就可以快速的实现移动ui 的测试，支持ios，android，reactnatice，fluttermaestro 安装简单，就是一个二进制文件 说明 对于需要进行移动端自动化测试的团队maestro 是一个很值得使用的工具 参考资料 阅读全文
posted @ 2023-10-07 10:25 荣锋亮 阅读(197) 评论(0) 推荐(0) 编辑
dbt 数据可观测性相关的一些扩展包
摘要：
随着大家对于数据质量越来越重视，数据可观测性已经成为一个比较重要的工程化实践了，dbt core 实际上已经包含了一些简单的数据质量能力（比如model schema 定义中关于test 的处理），但是默认的还是比较弱，所以社区以及dbt 官方提供了不少其他的扩展可以更好的支持数据质量，以下是一个整 阅读全文
posted @ 2023-10-07 10:15 荣锋亮 阅读(65) 评论(0) 推荐(0) 编辑
使用pyenv 安装graalvm 23.1.0 试用
摘要：
实际上graalvm 官方也有介绍基于pyenv 安装graalvm python 包的 安装 命令 pyenv install graalpy-23.1.0 效果 注意有些慢 使用 切换版本 pyenv local graalpy-23.1.0 执行python 代码 python app,py 阅读全文
posted @ 2023-10-06 22:43 荣锋亮 阅读(71) 评论(0) 推荐(0) 编辑
polars 基于rust 的dataframe 框架
摘要：
polars 基于rust 开发，使用了arrow 列式存储格式实现的dataframe 框架 支持的特性 lazy ｜ eager 之行 多线程 SIMD 查询优化 强大的表达式api 混合streaming （可以支持大于内存的数据） 支持各种语言调度（python，rust，nodejs，r） 阅读全文
posted @ 2023-10-06 10:34 荣锋亮 阅读(211) 评论(0) 推荐(0) 编辑
