荣锋亮 - 博客园

pg_parquet CrunchyData团队开源的pg parquet fdw

摘要： pg_parquet是CrunchyData 团队开源的pg paquet fdw，可以实现parquet 数据通过copy 命令到pg 表中，同时也支持将pg 表写入到parquet 文件中一些使用场景就是上边说的，写入或者读取parquet 数据查看parquet 的元数据以及schema 阅读全文

posted @ 2024-12-11 08:00 荣锋亮阅读(0) 评论(0) 推荐(0) 编辑

zenoh mqtt + nanomq 集成

摘要： zenoh mqtt 是一个zenoh 插件，可以让zenoh 提供mqtt 的能力（目前支持v3以及v5协议）使用场景路由mqtt 到边缘以及云对于mqtt 系统进行桥接通过zenoh rest api 进行mqtt 消息的发布订阅 mqtt ros2 交互存储mqtt 消息到zenoh 阅读全文

posted @ 2024-12-10 08:00 荣锋亮阅读(3) 评论(0) 推荐(0) 编辑

zenoh 强大的网络协议

摘要： zenoh 是一个强大的网络协议，支持灵活的组网模式，（peer，mesh，router，broker），同时具有快速的性能，对于业务集成提供了灵活的使用方法（pub，sub，query），同时还支持插件化的geo 存储能力（同时还支持数据复制能力），zenoh 同时还对于不同的使用场景进行了适阅读全文

posted @ 2024-12-09 08:00 荣锋亮阅读(7) 评论(0) 推荐(0) 编辑

vitest 基于vite 的下一代测试框架

摘要： vitest 基于vite 的下一代测试框架包含的特性基于vite 可以复用vite 的配置，转换器，解析器，插件智能实时watch 模式支持支持vue，react，svelte，lit，karko等框架的组件测试 ts/jsx 开箱即用的支持 esm 优先，顶级await 支持基于tin 阅读全文

posted @ 2024-12-08 08:00 荣锋亮阅读(3) 评论(0) 推荐(0) 编辑

ollama 0.5.0 发布内置结构化输出了

摘要：就在前几天ollama 发布了0.5.0了内置支持结构化输出了，同时ollama python 以及js 库已经支持此特性了，很值得使用说明同时就在一个小时之前发布了0.5.1 解决了一些结构化输出的bug 参考资料 https://github.com/ollama/ollama/releas 阅读全文

posted @ 2024-12-07 08:59 荣锋亮阅读(45) 评论(0) 推荐(0) 编辑

一些nodejs 线程池工具

摘要：线程池可以更好的提升系统的资源使用率，以下是一些nodejs 线程池工具的说明 piscina 快速，高效的线程池实现，包含的特性比较多，比如灵活的线程池大小，追踪执行以及等待的时间分析，取消支持，自定义任务队列等 tinypool 是基于piscina fork的一个实现，目的是为了简单以及高效，阅读全文

posted @ 2024-12-07 08:00 荣锋亮阅读(3) 评论(0) 推荐(0) 编辑

pgtyped 类型安全的基于typescript 的sql 包

摘要： pgtyped 类型安全的基于typescript 的sql 包包含的特性类型安全解析sql 以及ts 文件阻止sql注入说明对于开发强类型的sql 查询处理的，pgtyped 是一个值得尝试的包，后边简单说明下使用参考资料 https://pgtyped.dev/ https://g 阅读全文

posted @ 2024-12-06 08:00 荣锋亮阅读(2) 评论(0) 推荐(0) 编辑

tsup 包含依赖的处理

摘要： tsup 默认打包的bundle 实际上是结合依赖自动处理的，但是默认会排除dependencies以及devDependencies，此模式与我们实际希望的效果可能是不一致的，可选的解决方法是配置noExternal（通过正则匹配处理）参考使用 noExternal 参考配置 import {d 阅读全文

posted @ 2024-12-05 00:28 荣锋亮阅读(2) 评论(0) 推荐(0) 编辑

pongo基于pg的类似mongo语法查询npm包

摘要： pongo 是一个node 包装可以让我们使用类似mongo 查询的模式进行数据操作（底层数据存储在pg）同时提供强一致性包含的特性利用pg 提供了强一致性方便集成重用mongo 代码，因为兼容mongo api （注意并不是100%）增强了传统pg json 查询能力可以更好的使用pg 阅读全文

posted @ 2024-12-04 00:12 荣锋亮阅读(2) 评论(0) 推荐(0) 编辑

pydantic ai集成ollama简单试用

摘要：就是一个示例学习，体验下pydantic ai，llm 基于了ollama 参考代码 app.py 一个集成ollama 的测试 import asyncio from openai import AsyncOpenAI from pydantic import BaseModel,Field fr 阅读全文

posted @ 2024-12-03 21:21 荣锋亮阅读(34) 评论(0) 推荐(0) 编辑

pydantic ai agent 框架

摘要： pydantic 团队也开始搞ai agent 框架了，目前属于beta 版使用pydantic ai 的一些原因（来自官方介绍）来自pydantic团队，不少llm python sdk 都使用了此包模型无关，尽管当前支持的还有限，但是提供了简单接口可以扩展类型安全支持基于普通pytho 阅读全文

posted @ 2024-12-03 19:24 荣锋亮阅读(40) 评论(0) 推荐(0) 编辑

Semantic Metadata 语义元数据

摘要： Semantic Metadata 是orbital 为了进行数据集成提出的一套玩法，同时orbital 也开发了一些框架层的支持（Taxi 进行模型描述） orbital 进行集成开发 Semantic Metadata 的特点元数据定义了字段内容的契约平台无关系统基于此进行特定领域的业务a 阅读全文

posted @ 2024-12-03 08:00 荣锋亮阅读(5) 评论(0) 推荐(0) 编辑

connector-x db数据快速加载到dataframe的库

摘要： connector-x db数据快速加载到dataframe的库，支持不少数据库的到dataframe 数据的写入支持的数据库 pg mysql mariadb sqlite redshift clickhouse sql server azure sql database oracle big 阅读全文

posted @ 2024-12-02 08:06 荣锋亮阅读(5) 评论(0) 推荐(0) 编辑

crawle web 爬虫&浏览器自动化库

摘要： crawle web 爬虫&浏览器自动化库包含的特性 js&ts 支持 http 爬取，集成了cheerio 以及jsdom 的解析器无头浏览器支持爬取自动proxy 处理队列以及存储，可以保存文件，快照，json 结果内部不少方便的工具类，方便数据提取说明 crawle 同时也提供了p 阅读全文

posted @ 2024-12-02 08:00 荣锋亮阅读(9) 评论(0) 推荐(0) 编辑

RulesEngine 微软开源的基于json的规则引擎

摘要：以前有简单介绍过基于js 的json-rules-engine，以下简单说明下基于dotnet 的RulesEngine 包含的特性基于json 的规则定义多输入支持动态对象输入支持 c# 表达式支持基于class type 的自定义扩展表达式支持作用域范围参数 post rule 执行动阅读全文

posted @ 2024-12-01 08:00 荣锋亮阅读(11) 评论(0) 推荐(0) 编辑

json-rules-engine engine 简单说明

摘要： engine包含了存储，执行规则，提交事件以及维护状态，比如添加以及一处fact，添加、删除、更新rule，同时还包含添加operator，添加以及维护conddition 执行 // run the engine await engine.run() // with constant facts 阅读全文

posted @ 2024-11-30 08:00 荣锋亮阅读(4) 评论(0) 推荐(0) 编辑

json-rules-engine facts 简单说明

摘要： facts 实际上就是在rule 引擎执行中需要的数据，facts 数据可以是常量（硬编码的），也可以是动态设置的参考使用 // constant value facts let fact = new Fact('apiKey', '4feca34f9d67e99b8af2') // dynami 阅读全文

posted @ 2024-11-29 08:00 荣锋亮阅读(2) 评论(0) 推荐(0) 编辑

json-rules-engine almanac 简单说明

摘要： almanac 实际上就是一个上下文对象，可以对于engine 中依赖的一些fact 进行计算处理，同时可以方便的进行动态fact维护，同时还会复用以前的一些计算fact 官方参考使用官方有一个比较完整的介绍例子 /* * Base fact for retrieving account data 阅读全文

posted @ 2024-11-28 08:00 荣锋亮阅读(3) 评论(0) 推荐(0) 编辑

py-spy 0.4发布

摘要：就在上个月许久没更新的py-spy 发布了新版本，提供了python 3.12，3.13 的支持，同时进行了不少bug 的修复说明 py-spy 是一个很不错的python 应用profile 工具，对于python 应用的性能问题很值得尝试下参考资料 https://github.com/be 阅读全文

posted @ 2024-11-27 13:44 荣锋亮阅读(1) 评论(0) 推荐(0) 编辑

ollama python 新版本支持传递python 函数

摘要：在ollama python sdk 的最近更新中，支持传递python 函数到chat 调用中，以下是一个简单示例参考使用 app.py from ollama import chat from ollama import ChatResponse def add_two_numbers(a: 阅读全文

posted @ 2024-11-27 13:01 荣锋亮阅读(24) 评论(0) 推荐(0) 编辑

jsonata json 查询以及转换语言

摘要： jsonata json 查询以及转换语言包含的特性轻量级借鉴xpath 3.1 模式的语法最少语法的复杂表达式支持支持支持定义函数内置不少方便数据维护以及合并的操作符以及函数灵活的结构化输出说明原始jsonata 是js 实现，目前也有不少其他语言的实现，比如java 的，jso 阅读全文

posted @ 2024-11-27 08:00 荣锋亮阅读(6) 评论(0) 推荐(0) 编辑

json-rules-engine 简单试用

摘要：以下是对于json-rules-engine 的一个简单试用 rule 简单说明 json-rules-engine rule 基于json 进行描述配置，支持一些内置的operator，当然也可以自定义，rule 支持常见的any，and操作，同时支持嵌套，每个rule 可以包含自己的回调（成功以阅读全文

posted @ 2024-11-26 08:00 荣锋亮阅读(14) 评论(0) 推荐(0) 编辑

jint .net js 引擎

摘要： jint 是一个 .net js 引擎一些运行场景 .net 应用安全的运行js（沙箱环境）暴露native .net 对象到js 引擎中脚本化应用中简单使用 using Jint; var engine = new Engine() .SetValue("log", new Action< 阅读全文

posted @ 2024-11-25 08:31 荣锋亮阅读(7) 评论(0) 推荐(0) 编辑

json-rules-engine node 基于json的规则引擎

摘要： json-rules-engine 是一个node 的基于json 规则引擎，使用上比较简单，但是提供了不少方便的能力包含的特性基于json 进行规则描述支持ALL，ANY 等布尔操作快速安全，没有使用eval 函数同构，支持node 以及浏览器轻量级，只包含了少量依赖一些术语里边阅读全文

posted @ 2024-11-25 08:00 荣锋亮阅读(9) 评论(0) 推荐(0) 编辑

UniversalMediaServer DLNA&Upnp & http 媒体服务

摘要： UniversalMediaServer 是一个强大的媒体服务，支持DLNA，Upnp，http 协议说明 UniversalMediaServer 使用了ffmpeg，mediainfo，opensubtitles，crowdin，mencoder，tsmuxer，avisynth，vlc 等开阅读全文

posted @ 2024-11-24 08:00 荣锋亮阅读(8) 评论(0) 推荐(0) 编辑

crux 基于rust 的跨平台app开发框架

摘要： crux 使用了shared core 的模式进行跨平台app 开发，其中core 部分是基于rust 开发的包含的特性 shared core thin shell ui 层类型生成能力，提供了暴露api 调用的能力（side effects）参考架构如下图，设计上类似guide sid 阅读全文

posted @ 2024-11-23 08:00 荣锋亮阅读(13) 评论(0) 推荐(0) 编辑

multi-agent-orchestrator aws 开源的多agent 调度框架

摘要： multi-agent-orchestrator 是aws 开源的多agent 调度框架包含的特性多agent 调度多语言支持，目前支持python 以及typescript 包含智能意图分类，可以方便的基于查询以及动态路由灵活的agent 响应，支持流以及非流出来支持上下文管理，可以方便阅读全文

posted @ 2024-11-22 21:51 荣锋亮阅读(42) 评论(0) 推荐(0) 编辑

cefsharp 集成chrome 到.net 应用中的框架

摘要： cefsharp 集成chrome 到.net 应用中的框架，实际上提供了win form 以及wpf 组件包含的特性 js与.net 的互调用，以及基于回调的事件处理编程方式调用devtools 基于cefsharp 的puppeteer 的dom 访问基于Chromium.AspNetCo 阅读全文

posted @ 2024-11-22 08:00 荣锋亮阅读(11) 评论(0) 推荐(0) 编辑

dora面向数据流的机器人编程框架

摘要： dora面向数据流的机器人编程框架，基于rust 开发，对于内部基于了zenoh 这个网络框架包含的特性零开销，基于了arrow 可扩展，支持单机以及分布式，同时基于了yaml进行定义快速原型开发内置可观测，支持log，trace，metrics 多语言支持，比如python，rust，c，阅读全文

posted @ 2024-11-21 08:10 荣锋亮阅读(17) 评论(0) 推荐(0) 编辑

geesefs s3 fuse 文件系统实现

摘要： geesefs s3 fuse ，相比其他解决方案，geesefs 支持异步以及并行聚合说明 geesefs 对于yandex 对象存储，amazon s3，cepg，minio，selectel s3，backblaze b2 ，openstack swift，azure blob storag 阅读全文

posted @ 2024-11-21 08:00 荣锋亮阅读(14) 评论(0) 推荐(0) 编辑

mikro-orm typescript ORM 框架

摘要： mikro-orm 是一个基于ts 的orm 框架，使用了data mapper ，unit of work，identity map 等模式，支持mongodb，mysql，mariadb，pg，sqlite 等包含的特性隐式事务处理 DRY 实体支持sql 以及nosql 支持schema 阅读全文

posted @ 2024-11-20 08:00 荣锋亮阅读(5) 评论(0) 推荐(0) 编辑

Orbital 自动集成平台

摘要： Orbital 自动集成平台，Orbital 基于了Taxi 使用了语义元数据理念包含的特性不需要编写额外代码进行集成 api 优先技术无关，支持grpc，rest，kafka，soap 等自动适配参考玩法如下图，使用上与对于语义元数据定义是一致的，首先基于Taxi定义模型契约，然后业务阅读全文

posted @ 2024-11-19 10:12 荣锋亮阅读(4) 评论(0) 推荐(0) 编辑

cookiecutter-data-science 基于cookiecutter数据科学项目模版

摘要： cookiecutter-data-science 基于cookiecutter数据科学项目模版说明 cookiecutter-data-science 属于项目工程化的最佳实践，kedro 也是一个很不错的项目实践，值得尝试下参考资料 https://cookiecutter-data-sci 阅读全文

posted @ 2024-11-18 08:00 荣锋亮阅读(5) 评论(0) 推荐(0) 编辑

promptic 简单基于python 的llm 包

摘要： promptic 是基于litellm 开发的一个简单llm 包包含的特性基于装饰器的集成参数模版 pydantic 模型支持 streaming 支持简单llm 交互说明当然使用promptic 作为结构化输出也是一个不错的选择，代码并不多，可以看看参考资料 https://gith 阅读全文

posted @ 2024-11-17 08:00 荣锋亮阅读(6) 评论(0) 推荐(0) 编辑

electron视频音频处理简单说明

摘要：属于一个总结，一般我们都是使用navigator.mediaDevices.getUserMedia+desktopCapturer 集成，但是getUserMedia 对于音频的捕捉是有一些问题的（audio 为true 会有bug）基于session setDisplayMediaReques 阅读全文

posted @ 2024-11-16 08:00 荣锋亮阅读(17) 评论(0) 推荐(0) 编辑

fiddler proxy 解决服务器上网问题&https抓包问题

摘要：属于一个简单但是常见的问题，以前介绍过基于ssh 远端转发模式，实际上我们可以将fiddler 作为proxy 进行请求处理使用fiddler 的好处是简单，而且还支持debug，可以解决接口访问调试的问题运行可以使用fiddler 经典，或者everywhere，之后就是配置策略开启远端转阅读全文

posted @ 2024-11-15 08:00 荣锋亮阅读(20) 评论(0) 推荐(0) 编辑

ssh 远端转发处理服务器外网访问问题

摘要：属于一个简单而且比较常见的场景，就是我们的服务器不能直接链接互联网，但是我们的服务器可以访问内网，内网有一个proxy 服务解决方法第一种就是我们直接配置proxy 可以是socks 或者http的，参考配置，比较适合的是我们的服务器可以直接访问内部proxy export http_prox 阅读全文

posted @ 2024-11-14 00:49 荣锋亮阅读(22) 评论(0) 推荐(0) 编辑

LitServe fastapi endpoint注册简单说明

摘要： LitServe 是基于fastapi 开发的，因为服务ai 模型的特殊性（一般都比较耗时，运行时间会比较长），LitServe 对于api endpoint 的注册并不是简单的处理，而是包含了一个自己的spec，基于此spec 实现灵活的定义（比如支持openai 兼容模式）参考注册 spec 阅读全文

posted @ 2024-11-13 08:00 荣锋亮阅读(6) 评论(0) 推荐(0) 编辑

Photino 轻量级跨平台应用开发框架

摘要： Photino 属于一个新的跨平台app 开发方案包含的特性支持基于c++，c# ，java 的native 编译跨平台ui，可以基于vue，react，angular，blazor，Photino 使用了os 内置的chromium 或者基于webkit 的浏览器轻量级，相比electro 阅读全文

posted @ 2024-11-13 08:00 荣锋亮阅读(24) 评论(0) 推荐(0) 编辑

py-filelock python 平台无关的文件锁

摘要： py-filelock 是一个平台无关的文件锁实现，可以用来实现一些基于文件锁的业务控制参考使用 lock.py import os from filelock import Timeout, FileLock file_path = "high_ground.txt" lock_path = " 阅读全文

posted @ 2024-11-12 08:00 荣锋亮阅读(9) 评论(0) 推荐(0) 编辑

导航

公告