10 2023 档案

dremio 的自服务语义层创建简单说明
摘要：内容来自官方文档，介绍了一些关于dremio 的数据语义层的玩法 原则 分层 通过分层可以确保安全，性能以及可用性，dremio 提供了一个对于语义层的最佳实践 数据集的注释增强发现以及可理解性 可以通过tag 以及文档（wiki）进行数据的描述 最佳实践 使用1:1 的预处理层 此层的数据接近原始 阅读全文

posted @ 2023-10-31 14:27 荣锋亮 阅读(49) 评论(0) 推荐(0) 编辑

dremio 的Well-Architected Framework
摘要：内容来自官方文档，可以很好的了解dremio 的架构设计 参考图 说明 以上文档，相对简单，但是可以很好的说明dremio包含的能力以及如何进行dremio服务的部署 参考资料 https://docs.dremio.com/current/help-support/lakehouse-arch/ 阅读全文

posted @ 2023-10-31 12:05 荣锋亮 阅读(13) 评论(0) 推荐(0) 编辑

dremio metabase 高版本jdk连接问题
摘要：目前已经有不少新项目都是使用了高版本的jdk，比如不少使用了jdk11，还有直接使用jdk17 的 dremio jdbc 驱动支持的jdk 主要是8，对于其他高版本jdk 的支持会有一些问题核心是netty 相关的 以下是一个参考配置 启动参数配置 适合jdk 17 以及以上版本的 java -- 阅读全文

posted @ 2023-10-31 08:41 荣锋亮 阅读(81) 评论(0) 推荐(0) 编辑

emscripten 几个docker 镜像的使用
摘要：emscripten 目前是提供了官方docker 镜像，可以方便wasm 的生成，同时也包含一个社区提供的emscripten-docker 说明 比如echamudi/opencv-wasm 就使用了emscripten-docker 但是目前emscripten-docker 基本不维护了，推 阅读全文

posted @ 2023-10-30 18:17 荣锋亮 阅读(156) 评论(0) 推荐(0) 编辑

opencv wasm typescript 定义
摘要：实际上目前社区有不错的实现，我直接复制了相关的类型定义直接放到构建好的4.8.1 具体借鉴的定义是peteruhnak/opencv-ts 项目的 参考使用 添加依赖 yarn add @dalongrong/opencv-wasm@4.8.1-3 使用效果 说明 目前是直接复制社区提供的，不能保障 阅读全文

posted @ 2023-10-30 17:06 荣锋亮 阅读(67) 评论(0) 推荐(0) 编辑

opencv wasm 试用
摘要：基于webassembly 的opencv nodejs 开发是一个很不错的体验，不用考虑node addon 的各种问题，而且性能也不错 以下是基于echamudi/opencv-wasm 构建的4.8.1 版本的试用，代码来自opencv-wasm 的示例demo 试用 pacakge.json 阅读全文

posted @ 2023-10-30 16:04 荣锋亮 阅读(170) 评论(0) 推荐(0) 编辑

opencv 4.8.1 wsam 构建&问题说明
摘要：opencv-wasm使用的opencv 版本是4.3 的，为了使用最新版本的，所以自己基于opencv-wasm 提供的脚本构建了一个，同时记录下一些 问题以及解决方法 构建脚本修改 原始使用的是4.3.0 版本的，直接修改分支就可以了 git clone --branch 4.8.1 --dep 阅读全文

posted @ 2023-10-30 15:43 荣锋亮 阅读(307) 评论(0) 推荐(0) 编辑

emscripten基于llvm的webassembly 编译器
摘要：emscripten是一个基于llvm的webassembly 编译器 包含的特性 可移植 支持编译现有的c，c++ 以及其他语言项目，使用lvvm 编译为支持nodejs,浏览器，以及wasm运行时运行的服务 提供apis 支持将openGL 转换为WebGL，pthreads 转换为web ap 阅读全文

posted @ 2023-10-30 14:34 荣锋亮 阅读(93) 评论(0) 推荐(0) 编辑

photon rust 图像处理库
摘要：photon 是一个基于rust 开发的图像处理库，同时也支持基于WebAssembly的处理 参考nodejs 使用 添加依赖 { "name": "image-demo", "version": "1.0.0", "main": "index.js", "license": "MIT", "de 阅读全文

posted @ 2023-10-27 09:27 荣锋亮 阅读(145) 评论(0) 推荐(0) 编辑

dremio 创建数据集命令
摘要：以前dremio 对于基于sql 的数据集创建使用的命令是create vds <datasetname> as select * from <source>新的调整为了 create view <datasetname> as select * from <source> 说明 对于数据集的操作同 阅读全文

posted @ 2023-10-27 09:12 荣锋亮 阅读(23) 评论(0) 推荐(0) 编辑

bytenode nodejs 字节码编译工具
摘要：bytenode是一个nodejs 字节码编译工具，可以用来实现nodejs 代码的一些加密 简单使用 安装 目前推荐安装为cli 全局模式，我使用npm script 不成功 sudo npm install -g bytenode 简单代码 app.js 定义一个模块 module.export 阅读全文

posted @ 2023-10-26 10:41 荣锋亮 阅读(820) 评论(0) 推荐(0) 编辑

nexe nodejs 应用打包工具
摘要：nexe 是类似pkg 的一个nodejs 应用打包工具 支持的特性 自包含 可以用来运行多nodejs rumtime 不依赖node 以及npm 构建幂等 启动以及部署方便 跨平台 参考使用 安装 npm i nexe -g 简单代码 app.js console.log("demoapp") 阅读全文

posted @ 2023-10-26 09:31 荣锋亮 阅读(793) 评论(0) 推荐(0) 编辑

结合 cc 以及bindgen 实现rust 调用c 语言
摘要：主要是一个学习，结合cc 以及bindgen 工具实现rust 访问c 语言，基于cargo 的build.rs 实现方便的编译（包含了c库编译以及方法ffi 生成） 项目结构 ├── Cargo.lock ├── Cargo.toml ├── README.md ├── build.rs ├── 阅读全文

posted @ 2023-10-25 16:53 荣锋亮 阅读(196) 评论(0) 推荐(0) 编辑

angie 提供的一些模块
摘要：使用下angie 看看官方提供的一些模块 rpm repo 我使用了Rocky linux [angie] name=Angie repo baseurl=https://download.angie.software/angie/rocky/$releasever/ gpgcheck=1 enab 阅读全文

posted @ 2023-10-25 11:16 荣锋亮 阅读(47) 评论(0) 推荐(0) 编辑

angie nginx 替换方案
摘要：angie 是由nginx 原始团队的一些人出去创业开发的nginx 可选替换方案（core 还是基于了nginx） 同时提供了以下周边扩展 angie 一些比较方便的模块 集成了proemtheus(内置) 自己开发了可以方便监控 提供了一个console 基于angie 的api 提供了cons 阅读全文

posted @ 2023-10-25 10:58 荣锋亮 阅读(332) 评论(0) 推荐(0) 编辑

nginx unit WebAssembly 试用
摘要：nginx unit 已经支持WebAssembly ，刚好体验下 环境准备 基于docker 运行unit，对于wasm 的开发基于rust，实际上测试直接试用了官方的示例代码 docker-compose version: "3" services: app: image: unit:1.31. 阅读全文

posted @ 2023-10-24 11:46 荣锋亮 阅读(69) 评论(0) 推荐(0) 编辑

unit 1.31.1 发布
摘要：目前来说unit 的发布速度还比较稳定，同时一些新特性也很不错，比如1.31.0 支持服务端WebAssembly ，1.31.1 进行了增强nginx unit 实际上很不错，当时目前似乎使用的用户不是很多，在加上service mesh，周边的快速发展对于unit 的确是有不少的压力，而且从实际 阅读全文

posted @ 2023-10-24 10:58 荣锋亮 阅读(9) 评论(0) 推荐(0) 编辑

使用centos 7 的系统应该升级了
摘要：目前企业内部对于使用centos 的用户还是不少，但是目前越来越多的软件（尤其是开源软件）都在减少对于centos 7 的支持比如大家使用比较多的nodejs 从18 开始也不支持centos 7了（并不是不直接不支持，而且相关依赖引起的不支持） 一些可选的替代方案 实际上可选替代方案很多，选择上还 阅读全文

posted @ 2023-10-24 10:50 荣锋亮 阅读(29) 评论(0) 推荐(0) 编辑

lakefs 1.0.0 发布了
摘要：lakefs 1.0.0的发布，也就代表着lakefs 已经ga 了，同时提供了1.x 的兼容支持 说明 随着lakefs 的ga ，我们基本可以放心的使用了，同时新版本了提供了不少sdk 的支持，不只是包含open api 参考资料 https://github.com/treeverse/lak 阅读全文

posted @ 2023-10-23 21:49 荣锋亮 阅读(34) 评论(0) 推荐(0) 编辑

npm os 以及cpu 选项简单说明
摘要：npm 的os 以及cpu 是一个很不错的功能可以实现灵活的包在特定操作系统的运行，尤其我们开发基于node addon 的扩展的时候 napi.rs 做的就比较好，提供了比较完整的工程化实践 os 参考使用 配置 指定运行的操作系统，比如以下的是运行在mac 以及linux 上，同时也支持一个取反 阅读全文

posted @ 2023-10-23 11:05 荣锋亮 阅读(73) 评论(0) 推荐(0) 编辑

graalvmjs cube.js 集成简单说明
摘要：实际上我以前也简单写过关于graalvm 集成cube.js 的，最近graalvmjs 提供了独立的模块，我基于独立包创建了一个docker 镜像 尽管cube.js 也提供了docker 镜像，但是相对来说有点太重（包含了比较多的组件，同时很多是不需要的），很多时候我们是需要 自己基于扩展开发的 阅读全文

posted @ 2023-10-23 10:19 荣锋亮 阅读(94) 评论(0) 推荐(0) 编辑

localsend 基于flutter 开发的airdrop 可选工具
摘要：localsend 是基于flutter 开发的airdrop 可选工具，同时localsend 也开发了一些自己的协议 说明 对于希望基于localsend 学习flutter 跨平台开发的localsend 还是值得参考学习的 参考资料 https://github.com/localsend/ 阅读全文

posted @ 2023-10-22 20:43 荣锋亮 阅读(84) 评论(0) 推荐(0) 编辑

cube.js node addon 开发使用的框架neon 简单说明
摘要：cube.js node addon 的开发使用了neon 框架，基于neon 开发node addon 的好处是简单，而且开发上比较类似node 的开发模式但是缺点也有不少，比如napi-rs 支持方便的typescript 类型定义生成，可以方便我们使用，对于neon 这个issue 大家已经提 阅读全文

posted @ 2023-10-22 20:35 荣锋亮 阅读(20) 评论(0) 推荐(0) 编辑

wasm-pack 基于rust 的 WebAssembly 开发工具
摘要：目前基于WebAssembly的应用是越来越多了，同时周边工具以及生成也越来越强大了，wasm-pack 是rust 周边一个很强大的工具,以下是一个简单的试用 参考使用 安装 curl https://rustwasm.github.io/wasm-pack/installer/init.sh - 阅读全文

posted @ 2023-10-22 09:37 荣锋亮 阅读(171) 评论(0) 推荐(0) 编辑

bytewax python 流处理框架
摘要：bytewax python 流处理框架,支持批以及流处理，内部使用了timely-dataflow rust 库bytewax 支持的模式主要是多worker 以及多process 核心还是单机场景，暂时不支持多主机的集群模式，同时对于状态的存储以及recovery 使用了sqlite 说明 以前 阅读全文

posted @ 2023-10-22 08:26 荣锋亮 阅读(113) 评论(0) 推荐(0) 编辑

litestream 一些类似工具
摘要：litestream 官方提供了一些类似的可选方案，也是很值得参考学习的，如下参考资料实际上litestream 主要是工具以及基于sqlite 的新架构上提供了一些可选的参考，有一些工具我以前也简单介绍过 参考资料 https://litestream.io/alternatives/https: 阅读全文

posted @ 2023-10-22 08:04 荣锋亮 阅读(47) 评论(0) 推荐(0) 编辑

litestream sqlite流式复制工具
摘要：litestream 是基于golang 开发的sqlite 流式复制工具，可以方便的复制数据到s3 或者一些共享存储中 说明 litestream 使用简单，对于一些基于sqlite 的db存储的应用备份，是一个很不错的选择（比如默认的grafana，proxysql）同时litestream 对 阅读全文

posted @ 2023-10-22 07:52 荣锋亮 阅读(107) 评论(0) 推荐(0) 编辑

typeorm oracle 表大小写问题
摘要：oracle 对于表名的定义包含了是否包含双引号的问题，但是默认typeorm 创建的是包含了双引号的，造成数据查询会有问题（typeorm 自身没有问题，但是外部查询会有问题） 解决方法 自定义命名策略 参考 class OracleNameStrategy extends typeorm.Def 阅读全文

posted @ 2023-10-20 17:43 荣锋亮 阅读(37) 评论(0) 推荐(0) 编辑

ErrorReply: ERR wrong number of arguments node redis 连接问题解决
摘要：今天在测试kvrocks 与socket.io 集成的时候出现了此问题，刚好记录下 原始连接配置 const pubClient = createClient({ url:"redis://dalongdemo@localhost:6666/0"}); 问题修改 const pubClient = 阅读全文

posted @ 2023-10-20 14:07 荣锋亮 阅读(81) 评论(0) 推荐(0) 编辑

dart grpc 试用
摘要：主要是体验下dart grpc 的集成试用,grpc 对于dart 的支持也是基于了插件生成代码，然后我们可以基于生成的代码创建实现，client 进行调用 参考项目 代码来自官方示例 proto 定义 syntax = "proto3"; option java_multiple_files = 阅读全文

posted @ 2023-10-20 10:57 荣锋亮 阅读(83) 评论(0) 推荐(0) 编辑

dremio hive 连接
摘要：dremio 对于hive 的连接实际上有两种方法，一种使用的是hive 的meta store ,一种是使用的hive jdbc server第一中是官方支持的，第二种官方缺少直接的支持，需要自己开发相关的arp 扩展 一些参考实现 cdata 目前提供了一个开源实现，但是jdbc 驱动使用的是自 阅读全文

posted @ 2023-10-20 09:19 荣锋亮 阅读(64) 评论(0) 推荐(0) 编辑

centos xxd 工具的安装
摘要：今天在看tinyml ，提供使用到了一个叫做xxd 的工具，用来将tensofflow lite 的模型文件转换为c 格式的 xxd 工具centos 在中没有独立的包，而是集成在vim-common 中 安装 yum install -y vim-common 参考资料 https://stack 阅读全文

posted @ 2023-10-19 14:17 荣锋亮 阅读(193) 评论(0) 推荐(0) 编辑

httptoolkit 方便的http(s) 请求拦截工具
摘要：httptoolkit 是一个开源工具，支持http(s) 的拦截，可以方便查询请求数据，同时进行重写以及mock 操作 说明 httptoolkit 是开源的，同时支持多样的mock 操作是一个很不错的数据抓包工具，以下是支持的一些工具 参考资料 https://httptoolkit.com/h 阅读全文

posted @ 2023-10-19 10:25 荣锋亮 阅读(386) 评论(0) 推荐(0) 编辑

pgspider 3.1.0 发布
摘要：从最近一段时间pgspider 迭代速度似乎是很快 新版本支持的特性 数据迁移 支持本地表，外表等的迁移 路由添加 并行存储函数 支持批量insert 的表修改 不少开发的fdw 的更新 说明 pgspider 最近的迭代速度的确是快了不少，一些新功能也是值得试用的 参考资料 https://git 阅读全文

posted @ 2023-10-19 09:18 荣锋亮 阅读(48) 评论(0) 推荐(0) 编辑

通过npm overrides 解决cube.js oracle driver 依赖oracle 版本问题
摘要：以前我通过替换解决的（适合容器场景），以下是使用npm 自带的特性解决 项目配置 package.json 如下，替换@cubejs-backend/oracle-driver 包以来的oracle 包为新安装的 { "name": "demo-app", "version": "0.0.1", " 阅读全文

posted @ 2023-10-18 16:40 荣锋亮 阅读(112) 评论(0) 推荐(0) 编辑

keydb 6.3.3 modjs docker 镜像
摘要：keydb 6.3.3 已经发布一段时间了，但是ModJS 的支持镜像一直还没有提供，就基于现有的基础镜像搞了一个 方便学习使用 Dockerfile FROM eqalpha/modjs as base FROM eqalpha/keydb:latest RUN mkdir -p /usr/lib 阅读全文

posted @ 2023-10-18 15:23 荣锋亮 阅读(53) 评论(0) 推荐(0) 编辑

cube.js oracle 新版本npm 包支持
摘要：cube.js 目前来说是越来越复杂了（不是代码多复杂，而且融合了不少三方语言,python,rust, node addon java）如果网络不是很好的情况下 编译cube.js 是极其痛苦的，而且不少依赖问题，cube.js 实际上很早就支持oracle，但是今天oracle 比较给力提供了基 阅读全文

posted @ 2023-10-18 13:18 荣锋亮 阅读(25) 评论(0) 推荐(0) 编辑

pino 一个很不错的node log 框架
摘要：pino 是一个很不错的nodejs 日志框架，fastify 就集成了此框架,而且提供了不少框架的扩展，可以方便集成（express，koa，nest，hapi。。。） 参考使用 app.js const pino = require('pino') const logger = pino({ t 阅读全文

posted @ 2023-10-18 09:51 荣锋亮 阅读(464) 评论(0) 推荐(0) 编辑

env-schema 环境变量check npm 包
摘要：基于nodejs 的应用开发中基于环境变量的配置管理是很场景的，env-schema 是一个集成了json schema 以及dotenv 工具的一个npm包 可以增强基于dotenv 的配置管理（缺少check） 参考试用 app.js const envSchema = require('env 阅读全文

posted @ 2023-10-17 16:16 荣锋亮 阅读(20) 评论(0) 推荐(0) 编辑

oso 基于rust 开发的授权框架
摘要：oso 基于rust 开发的授权框架,oso 与以前介绍的一些基于策略的授权框架类似，也是包含了策略定义，同时提供了主流开发语言的sdk，包含了自己的特点:(模型，策略，测试)，oso对于测试处理开发了自己的 polar 语言 一些特性 支持多租户 支持rbac 支持过滤以及类似文件与文件夹管理的能 阅读全文

posted @ 2023-10-17 14:11 荣锋亮 阅读(170) 评论(0) 推荐(0) 编辑

fastify-awilix 基于awilix 的fastify 依赖注入扩展
摘要：依赖注入是一个很不错的开发模式，可以帮助我们开发灵活的业务服务，fastify-awilix 是基于awilix 实现的一个fastify扩展 说明 目前nodejs 的ioc 框架也是很多的，fastify-awilix 属于官方提供的一个扩展，还是挺不错的，值得试用下 参考资料 https:// 阅读全文

posted @ 2023-10-17 13:46 荣锋亮 阅读(47) 评论(0) 推荐(0) 编辑

fastify-sensible fastify 一些工具类插件
摘要：fastify-sensible 是来自官方的一个插件，提供了一些默认实现（实际上就是一些方便的工具类）方便使用 说明 对于基于fastify 开发的一些接口服务，通用的http 状态码，以及异常处理fastify-sensible 是一个很不错的工具包 参考资料 https://github.co 阅读全文

posted @ 2023-10-17 13:34 荣锋亮 阅读(59) 评论(0) 推荐(0) 编辑

fastify-autoload + ncc + s3 实现模块的插件化开发加载
摘要：以前简单说明过基于fastify-autoload 的插件化加载fastify插件，方便实现开发，但是对于实际生产环境我们可以需要频繁的模块修改，发布以及构建，所以需要我们需要频繁的调整，不是很方便,我们可以基于ncc 进行入口的打包，同时对于每个插件也基于ncc 打包为独立的文件，这样我们开发的插 阅读全文

posted @ 2023-10-17 13:23 荣锋亮 阅读(109) 评论(0) 推荐(0) 编辑

fastify-autoload 一个方便的插件动态加载包
摘要：fastify-autoload 是一个方便的fastify 插件加载工具，我们可以基于路径直接加载开发的插件 参考使用 配置 const Fastify = require('fastify') const path = require("path") const autoLoad = requi 阅读全文

posted @ 2023-10-17 09:50 荣锋亮 阅读(170) 评论(0) 推荐(0) 编辑

remotion 基于react 创建视频的框架
摘要：remotion 可以让我们直接基于react 创建视频,使用到的技术webgl，css,canvas,svg 说明 对于希望使用web 创建使用的场景这个是一个不错的选择（比如营销动画），很值得学习下 参考资料 https://www.remotion.dev/docs/https://githu 阅读全文

posted @ 2023-10-15 17:55 荣锋亮 阅读(129) 评论(0) 推荐(0) 编辑

node-oracledb typeorm 集成试用
摘要：主要是测试下typeorm与node-oracledb thin 模式的集成 环境准备 docker-compose 文件 version: '3' services: db: image: gvenzl/oracle-xe:21.3.0-slim ports: - "1521:1521" envi 阅读全文

posted @ 2023-10-14 21:55 荣锋亮 阅读(27) 评论(0) 推荐(0) 编辑

openfga google Zanzibar 开源实现
摘要：openfga google Zanzibar 开源实现,是一个实现了rebac 模式的授权解决方案，开发语言基于了golang 说明 对于希望实现细粒度访问控制的应该也是值得学习参考的，同时openfga 也实现了主流开发语言的sdk 参考资料 https://github.com/openfga 阅读全文

posted @ 2023-10-14 18:03 荣锋亮 阅读(161) 评论(0) 推荐(0) 编辑

opal 基于policy agent 的数据授权开源方案
摘要：opal 核心是基于了开源的策略引擎开发了自己的授权解决方案 参考架构 设计上使用的开源组件 open policy agent 当然也是在支持基于aws cedar 的 fastapi 基于python 的web api 服务 fastapi websocket pubub 服务实现实时更新的 b 阅读全文

posted @ 2023-10-14 17:51 荣锋亮 阅读(45) 评论(0) 推荐(0) 编辑

label-studio docker-compose 运行试用
摘要：label-studio 是一个支持多格式的数据标注工具，以下是基于docker-compose 运行的试用 环境准备 docker-compose version: "3.9" services: nginx: image: heartexlabs/label-studio:latest port 阅读全文

posted @ 2023-10-14 09:48 荣锋亮 阅读(552) 评论(0) 推荐(0) 编辑

一些开源数据标注工具
摘要：整理一些工具，方便学习使用 doccano 主要是进行文本处理的 label-studio 比较强大的工具，支持多种数据处理，目前迭代升级也比较快速 audino 进行声音标注的工具，目前不是很活跃了，好久没新的提交信息了 abel-studio-converter label-studio 提供的 阅读全文

posted @ 2023-10-14 08:42 荣锋亮 阅读(339) 评论(0) 推荐(0) 编辑

http2 CVE-2023-44487安全问题
摘要：属于CVE-2023-44487 安全问题，目前似乎影响的web server 不少，还是应该结合最近的软件补丁进行修改 参考资料 https://nvd.nist.gov/vuln/detail/CVE-2023-44487https://hg.nginx.org/nginx/rev/cdda28 阅读全文

posted @ 2023-10-12 23:39 荣锋亮 阅读(1829) 评论(0) 推荐(0) 编辑

cerbos minio s3 存储试用
摘要：cerbos 支持blob 存储，以下是关于minio s3 的集成试用 环境准备 docker-compose version: "3" services: minio: image: minio/minio ports: - "9000:9000" - "9001:9001" command: 阅读全文

posted @ 2023-10-12 22:38 荣锋亮 阅读(39) 评论(0) 推荐(0) 编辑

cerbos 参考试用
摘要：主要是基于本地存储策略，使用nodejs 的客户端进行认证的试用 环境准备 docker-compose version: "3" services: cerbos: image: ghcr.io/cerbos/cerbos:latest volumes: - ./policies:/policie 阅读全文

posted @ 2023-10-12 21:01 荣锋亮 阅读(35) 评论(0) 推荐(0) 编辑

cerbos 参考部署架构
摘要：cerbos 官方提供了几种部署模式，很值得学习参考，这样才能保证我们业务系统的可靠稳定 参考部署模式 集中式模式 此模式结合负载均衡器，可以部署多cerbos示例，然后共享策略定义，应用通过lb 提供的地址进行连接 sidecar 模式 比较适合容器运行的场景，每个业务pod 会有一个独立运行的c 阅读全文

posted @ 2023-10-12 20:43 荣锋亮 阅读(42) 评论(0) 推荐(0) 编辑

cerbos 开源语言无关的授权解决方案
摘要：cerbos 实现了与casbin 类似的功能，但是casbin 需要自己基于adapter 实现数据存储的处理，cerbos 核心主要是配置策略，然后基于传递的数据进行check 参考架构 业务使用 说明 策略定义上与casbin 以及aws iam 的一些玩法比较类似，但是cerbos 提供了g 阅读全文

posted @ 2023-10-12 16:11 荣锋亮 阅读(98) 评论(0) 推荐(0) 编辑

nodejs xxl-job-executor 客户端试用
摘要：代码fork 自awesomeoxc/xxl-job-executor-nodejs，进行了一些以来包的升级，同时发布npm包到npm 仓库中，方便使用 npm 包名称 npm 包我已经发布npm 仓库中了，可以直接使用@dalongrong/xxl-job-executor 参考使用 安装 npm 阅读全文

posted @ 2023-10-11 14:30 荣锋亮 阅读(364) 评论(0) 推荐(0) 编辑

mountpoint-s3 ga 并提供了安装包
摘要：mountpoint-s3 就在最近ga 了，同时还提供了rpm 以及deb 包，可以方便安装使用 安装 直接下载对应的包，安装就可以了，比如下载rpm 的然后yum install 就可以了，但是因为默认没有systemd 管理，需要自己配置 参考使用 环境配置 version: "3" serv 阅读全文

posted @ 2023-10-11 10:17 荣锋亮 阅读(26) 评论(0) 推荐(0) 编辑

node-oracledb thin 模式试用
摘要：node-oracledb client 已经支持thin 模式了，npm 包小了很多，以下是一个测试 环境准备 基于容器部署的oracle docker-compose version: '3' services: db: image: gvenzl/oracle-xe:21.3.0-slim p 阅读全文

posted @ 2023-10-08 20:10 荣锋亮 阅读(119) 评论(0) 推荐(0) 编辑

node-oracledb nodejs 包支持thin 模式了
摘要：node-oracledb 从v6.0.0 版本来时支持thin 模式了，是基于纯javascript 开发的驱动，我们终于可以不用依赖比较笨重的oracle client 了属于一个很大的进度，同时python 版本也是支持thin 模式了，我以前也简单介绍过 参考资料 https://githu 阅读全文

posted @ 2023-10-08 19:04 荣锋亮 阅读(155) 评论(0) 推荐(0) 编辑

retrofit.dart retrofit 的dart 版本实现
摘要：retrofit.dart retrofit 的dart 版本实现，利用了代码生成技术，不像java 使用的是动态代理，以下是一个参考试用 项目集成 依赖配置 name: cli description: A sample command-line application. version: 1.0 阅读全文

posted @ 2023-10-08 18:20 荣锋亮 阅读(53) 评论(0) 推荐(0) 编辑

pgtune pg 配置优化工具
摘要：pgtune 是一个web 工具，可以基于一些最佳实践提供pg server 的配置，对于想快速进行pg 数据库优化的是一个不错的工具使用简单，同时也提供了web site 可以方便使用 参考资料 https://github.com/le0pard/pgtunehttps://pgtune.leo 阅读全文

posted @ 2023-10-08 09:13 荣锋亮 阅读(115) 评论(0) 推荐(0) 编辑

使用jprofiler 14 查看dremio 的grpc 调用
摘要：我以前也写过使用就profiler分析dremio 调用链的，jprofiler 14 支持独立的grpc 功能节点了，可以方便我们了解dremio 内部grpc 的调用机制 环境配置 这个就比较简单了，具体可以参考我以前写的文章（包含了基于agent 模式以及attach 模式的） 参考效果 参考 阅读全文

posted @ 2023-10-07 12:48 荣锋亮 阅读(54) 评论(0) 推荐(0) 编辑

python 3.12.0 perf 试用
摘要：python 3.12.0 的发布，官方支持了基于perf 的调用链分析，基于容器搞了一个简单的环境测试下 环境准备 包含了包含perf 的python 基础镜像，以及一个使用flask 的web 服务, 使用flamescope 的可视化页面分析 docker-compose 文件 version 阅读全文

posted @ 2023-10-07 12:29 荣锋亮 阅读(128) 评论(0) 推荐(0) 编辑

maestro studio 简化编写测试worflow 的工具
摘要：对于自己编写workflow 有时可能会比较复杂，maestro studio提供了基于ai 的强大能力，同时可以实时模拟器的页面与web 集成对于测试人员来说是一个很不错的选择，很值得看看，同时因为maestro studio 也是开源的，代码上也值得学习参考 参考资料 https://maest 阅读全文

posted @ 2023-10-07 10:52 荣锋亮 阅读(37) 评论(0) 推荐(0) 编辑

maestro ios 简单试用
摘要：主要是体验下maestro 的使用 预备 对于ios 需要以来facebook 的idb 需要安装 参考安装命令 brew tap facebook/fb brew install facebook/fb/idb-companion 试用 下载示例 直接使用maestro 自带的 maestro d 阅读全文

posted @ 2023-10-07 10:43 荣锋亮 阅读(55) 评论(0) 推荐(0) 编辑

maestro 移动ui 自动化测试框架
摘要：maestro 是一个移动ui 自动化测试框架，基于yaml 定义就可以快速的实现移动ui 的测试，支持ios，android，reactnatice，fluttermaestro 安装简单，就是一个二进制文件 说明 对于需要进行移动端自动化测试的团队maestro 是一个很值得使用的工具 参考资料 阅读全文

posted @ 2023-10-07 10:25 荣锋亮 阅读(198) 评论(0) 推荐(0) 编辑

dbt 数据可观测性相关的一些扩展包
摘要：随着大家对于数据质量越来越重视，数据可观测性已经成为一个比较重要的工程化实践了，dbt core 实际上已经包含了一些简单的数据质量能力（比如model schema 定义中关于test 的处理），但是默认的还是比较弱，所以社区以及dbt 官方提供了不少其他的扩展可以更好的支持数据质量，以下是一个整 阅读全文

posted @ 2023-10-07 10:15 荣锋亮 阅读(65) 评论(0) 推荐(0) 编辑

使用pyenv 安装graalvm 23.1.0 试用
摘要：实际上graalvm 官方也有介绍基于pyenv 安装graalvm python 包的 安装 命令 pyenv install graalpy-23.1.0 效果 注意有些慢 使用 切换版本 pyenv local graalpy-23.1.0 执行python 代码 python app,py 阅读全文

posted @ 2023-10-06 22:43 荣锋亮 阅读(72) 评论(0) 推荐(0) 编辑

polars 基于rust 的dataframe 框架
摘要：polars 基于rust 开发，使用了arrow 列式存储格式实现的dataframe 框架 支持的特性 lazy ｜ eager 之行 多线程 SIMD 查询优化 强大的表达式api 混合streaming （可以支持大于内存的数据） 支持各种语言调度（python，rust，nodejs，r） 阅读全文

posted @ 2023-10-06 10:34 荣锋亮 阅读(211) 评论(0) 推荐(0) 编辑

stepci 试用
摘要：stepci 是一个api 自动测试工具，以下是一个简单的试用 试用 支持的命令 package.json { "devDependencies": { "stepci": "^2.6.8" }, "scripts": { "app":"export STEPCI_DISABLE_ANALYTICS 阅读全文

posted @ 2023-10-06 10:16 荣锋亮 阅读(27) 评论(0) 推荐(0) 编辑

stepci 开源api 自动测试框架
摘要：stepci 是基于nodejs 开发的，开源api 自动测试框架 包含的特性 语言无关 可以基于yaml，json，js 定义 支持多种框架 rest，graphl，grpc，trpc，soap 自托管 可以集成到ci/cd中，同时可以自己部署与行 可集成 可以很好的与其他工具集成 说明 step 阅读全文

posted @ 2023-10-06 09:59 荣锋亮 阅读(26) 评论(0) 推荐(0) 编辑

dremio 24.2 新增druid arp 扩展
摘要：dremio 24.2 新增druid arp 扩展，此扩展在jdbc ce 版本的plugin 中， 我们可以通过反编译学习 参考图 参考资料 https://druid.apache.org/ 阅读全文

posted @ 2023-10-04 23:07 荣锋亮 阅读(9) 评论(0) 推荐(0) 编辑

dremio 24.2 社区版发布
摘要：就在昨天，dremio 提供了社区版的下载地址，24.2 提供了不少新特性 主要新特性 delta lake 不少新功能支持（历史，快照） 反射hints 支持（可以基于声明式定义） 一些新的半结构化数据聚合参数 自动反射推荐功能(属于企业版特性) 一些查询计划的优化（主要是修复一些历史之行计划的问 阅读全文

posted @ 2023-10-04 10:49 荣锋亮 阅读(58) 评论(0) 推荐(0) 编辑

apache hop kettle 替换方案
摘要：apache hop 是一个apache 开源的 kettle替换方案，提供了kettle 任务的导入能力，整体来说目前估计ga 了，而且还算活跃 参考架构 如下图，包含了gui，server，metadata store，runner。。。还是比较完整的 支持的功能 pipeline 开发 就是k 阅读全文

posted @ 2023-10-04 09:36 荣锋亮 阅读(494) 评论(0) 推荐(0) 编辑

gradio 机器学习应用共享框架
摘要：gradio 是一个机器学习应用共享框架，不少开源机器学习模型都基于gradio 提供了可以快速体验模型的ui 参考使用 安装 pip install gradio 简单代码 app.py import gradio as gr def greet(name): return "Hello " + 阅读全文

posted @ 2023-10-02 20:56 荣锋亮 阅读(243) 评论(0) 推荐(0) 编辑

modin pandas 大规模数据处理方案
摘要：modin 是一个可以快速替换原生pandas 的方案，我们只需要替换一个简单的引用，就可以将pandas 的数据处理速度有很大的提升modin 支持与不少框架的集成（ray, dask,unidisk）,目前modin 对于常用read 操作都有很不错的支持，参考图 参考架构 如下图，可以看出mo 阅读全文

posted @ 2023-10-01 21:57 荣锋亮 阅读(70) 评论(0) 推荐(0) 编辑

aws awswrangler 集成minio 简单试用
摘要：aws awswrangler 现在已经改名为aws-sdk-pandas，但是对于python 使用的时候安装已经是使用awswrangler 名称 以下是一个简单的集成 minio 的测试，核心是配置环境变量，这个也比较符合aws 对于相关资源的集成玩法 环境准备 docker-compose 阅读全文

posted @ 2023-10-01 21:34 荣锋亮 阅读(79) 评论(0) 推荐(0) 编辑

pandas 加载minio 文件数据
摘要：就是一个简单记录，基于s3 进行文件存储还是比较方便的 环境准备 docker-compose.yaml version: '3' services: minio: image: minio/minio ports: - "9002:9000" - "19001:19001" environment 阅读全文

posted @ 2023-10-01 09:03 荣锋亮 阅读(146) 评论(0) 推荐(0) 编辑

导航