2025年1月5日

zenoh webserver SUB 的一个bug

摘要： 此问题在1.0.0 中存在，1.0.1 已经解决了，重新替换插件就可以了，老版本sub 对于如下格式的不能生效 <keey_expre>?_method=SUB 参考资料 https://github.com/eclipse-zenoh/zenoh-plugin-webserver https:// 阅读全文

posted @ 2025-01-05 08:00 荣锋亮 阅读(1) 评论(0) 推荐(0) 编辑

2025年1月4日

zenoh 支持的配置参数

摘要： zenoh 官方文档只是简单的说明了下zenoh的配置，实际相对完整的在github 中有一个示例DEFAULT_CONFIG.json5 对于实际了解这些参数还是比较有用的，有利于进行优化以及结合实际进行zenoh 部署的调整 参考资料 https://zenoh.io/docs/migratio 阅读全文

posted @ 2025-01-04 08:00 荣锋亮 阅读(2) 评论(0) 推荐(0) 编辑

2025年1月3日

opencv python pip mac 安装一个问题

摘要： opencv 对于不同平台实际已经提供了abi3 兼容的whl 文件，我们可以直接下载快速安装，而不是pip 安装的时候进行构建会特别慢 但是对于mac 版本有一些问题 问题说明 现有whl的格式opencv_python-4.10.0.84-cp37-abi3-macosx_12_0_x86_64 阅读全文

posted @ 2025-01-03 08:00 荣锋亮 阅读(5) 评论(0) 推荐(0) 编辑

2025年1月2日

zenoh webserver 插件一个有意思的功能

摘要： zenoh webserver plugin 是可以获取key 的信息，通过http 协议实现资源的映射，同时zenoh对于key 支持查询参数，比如SUB 可以实现流式数据处理 ，比如视频以及多媒体资源类的处理 流式请求格式 <key_expre>?_method=SUB 使用此格式，可以实现流式 阅读全文

posted @ 2025-01-02 08:00 荣锋亮 阅读(12) 评论(0) 推荐(0) 编辑

2025年1月1日

zenoh ts sdk 内部实现简单说明

摘要： 以前简单说过zenoh 内部是直接支持websocket 协议的，但是如果需要使用websocket就需要自己包装特定的消息体才能通信 为了方便web使用（同时也支持node）zenoh ts sdk 基于remote plugin （同样也是暴露websocket api），之后包装为标准zeno 阅读全文

posted @ 2025-01-01 08:00 荣锋亮 阅读(2) 评论(0) 推荐(0) 编辑

2024年12月31日

不使用存储插件进行zenoh 存储扩展开发

摘要： 以前简单说过zenoh 内部存储插件的处理机制，以下说明下如何直接基于zenoh 语言sdk 进行存储扩展开发 参考图 内部机制说明：对于写入put操作，我们基于ssubscriber 订阅特定的key信息，之后写入到存储中，对于get 请求，我们使用queryable 扩展定义callback 进 阅读全文

posted @ 2024-12-31 08:00 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

2024年12月30日

zenoh s3 存储插件简单说明

摘要： 以前简单介绍过关于zenoh 存储插件的接口定义，以下简单说明下s3实现的处理以及使用 使用 zenoh 对于存储插件的处理统一是通过存储管理，之后是配置具体的存储插件时间 参考配置 "plugins": { // configuration of "storage-manager" plugin: 阅读全文

posted @ 2024-12-30 08:00 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

2024年12月29日

zenoh一些新特性

摘要： zenoh 支持一些新特性，只是这些特性目前还不稳定 一些不稳定的新特性 Liveiness 可以通过订阅以及get 模式获取状态，比较类似queryable ，但是个更加方便灵活的实现key 信息的监控 Attachment 可以添加一些自定义数据 Soure info 对于source 提供一些 阅读全文

posted @ 2024-12-29 08:00 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

2024年12月28日

zenoh 存储插件的处理简单说明

摘要： zenoh 的存储插件实际上内部也是调用的，zenoh 暴露的session 操作的，对于数据的写入式基于了subscriber，对于数据的查询是基于了zenoh 的queryable，以下是一个简单说明完整的可以参考实际源码 内部处理 上边简单说明了下，内部实际上就是zenoh 的session 阅读全文

posted @ 2024-12-28 08:00 荣锋亮 阅读(7) 评论(0) 推荐(0) 编辑

2024年12月27日

zenoh目前支持的一些协议

摘要： 大家如果在学习zenoh的时候（包括官方文档）可能会看到zneoh 支持的一些协议，最好查看支持协议的地方实际上是通过源码 当前支持的协议 如下 ├── zenoh-links │ ├── README.md │ ├── zenoh-link-quic │ ├── zenoh-link-serial 阅读全文

posted @ 2024-12-27 08:00 荣锋亮 阅读(5) 评论(0) 推荐(0) 编辑

2024年12月26日

zenoh-flow 基于zenoh的data flow 编程框架

摘要： zenoh-flow 是基于zenoh 的data flow 编程框架，可以实现分布式的flow 编程能力 zenoh-flow 抽象了source，operator，sink 等概念，基于zenoh 实现灵活的数据处理 source 可以基于rust 共享库或者python script 开发 o 阅读全文

posted @ 2024-12-26 08:00 荣锋亮 阅读(12) 评论(0) 推荐(0) 编辑

2024年12月25日

zenoh-rpc 基于zenoh 的rpc框架

摘要： zenoh-rpc 目前还属于早期项目，利用此框架我们可以开发去中心化的分布式微服务 包含的功能 强类型 服务注册 服务发现 自动生成客户端以及server端代码 去中心化的rpc服务 说明 zenoh 灵活的数据通信能力，可以实现不少有意思的服务，比如分布式web服务等，zenoh-rpc 目前还 阅读全文

posted @ 2024-12-25 08:00 荣锋亮 阅读(10) 评论(0) 推荐(0) 编辑

2024年12月24日

Daft 基于rust 开发的分布式数据引擎

摘要： Daft 是基于rust开发的分布式数据引擎，可以提供sql 以及python 的dataframe接口，可以应用在数据工程，分析，机器学习以及ai 场景 包含的集成 云存储集成，主要是s3，当然对于s3兼容的也是可以的 集成pytorch，numpy 集成，方便机器学习以及ai 周边的 数据湖周边 阅读全文

posted @ 2024-12-24 08:00 荣锋亮 阅读(14) 评论(0) 推荐(0) 编辑

2024年12月23日

drasi-platform 数据变动跟踪平台

摘要： drasi-platform 是一个面向变动数据处理的数据平台 参考架构 如下图，drasi 包含了source，continuouts query，reactions 等几个核心概念 说明 开发语言上drasi 使用了rust，cdc 部分集成了debezium，对于continuouts que 阅读全文

posted @ 2024-12-23 08:00 荣锋亮 阅读(5) 评论(0) 推荐(0) 编辑

2024年12月22日

dice redis 兼容的内存数据库

摘要： dicedb 是一个兼容redis 协议的内存数据库 包含的特性 兼容redis 快速高效，单机环境比原生redis快5倍 类sql 查询支持 push，pull支持 原生json 支持 支持http 以及websocket 协议 说明 从介绍上性能是很不错的，但是目前缺少生产部署的详细文档以及配置 阅读全文

posted @ 2024-12-22 08:00 荣锋亮 阅读(14) 评论(0) 推荐(0) 编辑

2024年12月21日

zenoh s3 存储插件使用

摘要： s3 存储插件可以方便的将数据持久化到对象存储中，同时基于s3 插件的特点以及zenoh 的能力实现方便的数据读写分离 参考玩法 可以将数据写入到s3中，同时对于不同的策略可以实现读写分离（可以基于数据复制以及基于zenoh的数据路由），玩法特别多 参考配置 zenoh router 配置 { "i 阅读全文

posted @ 2024-12-21 08:00 荣锋亮 阅读(11) 评论(0) 推荐(0) 编辑

2024年12月20日

zenoh wireshark 集成简单说明

摘要： zenoh 对于有wireshark 的支持包含了两个版本的，基于lua 的以及rust 开发的，推荐基于rust 的，一下是一个简单测试 构建 mac 系统的 配置依赖 ln -snf $(find /Applications/Wireshark.app/Contents/Frameworks - 阅读全文

posted @ 2024-12-20 08:00 荣锋亮 阅读(17) 评论(0) 推荐(0) 编辑

2024年12月19日

dbt 1.9 发布

摘要： dbt 1.9 发布了，比较重大的更新是对于increamenaal 的mcirobatch 支持以及新的snapshots 配置指南 说明 以上几个新特性以及修改官方已经有一些介绍了，很值得学习下，后边会简单介绍下 参考资料 https://www.getdbt.com/blog/dbt-core 阅读全文

posted @ 2024-12-19 09:08 荣锋亮 阅读(9) 评论(0) 推荐(0) 编辑

zenoh 监控

摘要： zenoh 提供了基于prometheus 的metrics 能力，但是需要开启stats feature ，同时官方也提供了一个基于datadog 的集成玩法 独立部署监控简单说明 开启系统的metrics 能力基于prometheus 周边灵活的集成处理 通过adminspace 对于一些指标的 阅读全文

posted @ 2024-12-19 08:00 荣锋亮 阅读(7) 评论(0) 推荐(0) 编辑

2024年12月18日

zenoh 存储复制以及校准

摘要： zenoh通过存储管理插件可以灵活的支持存储的处理（通过key_expr 配置存储位置，进行分片）同时对于处理的key 会自动进行持久化 但是如果是多个节点的就会存在一致性的问题，zenoh 提供了最总一致性语义可以进行数据的校准 参考配置 zenoh 1.0.0 之后版本的 "plugins": 阅读全文

posted @ 2024-12-18 08:00 荣锋亮 阅读(7) 评论(0) 推荐(0) 编辑

2024年12月17日

zenoh mqtt 简单说明

摘要： zenoh mqtt 是一个zenoh 插件，可以让zenoh 提供mqtt 的能力（目前支持v3以及v5协议） 使用场景 路由mqtt 到边缘以及云 对于mqtt 系统进行桥接 通过zenoh rest api 进行mqtt 消息的发布订阅 mqtt ros2 交互 存储mqtt 消息到zenoh 阅读全文

posted @ 2024-12-17 08:00 荣锋亮 阅读(19) 评论(0) 推荐(0) 编辑

2024年12月16日

zenoh 用户密码支持

摘要： zenoh 支持基本的用户密码认证，client以及peer 支持与router 以及peer 进行认证 配置说明 参考配置 client { /// The node's mode (router, peer or client) mode: "client", transport: { auth 阅读全文

posted @ 2024-12-16 08:00 荣锋亮 阅读(7) 评论(0) 推荐(0) 编辑

2024年12月15日

zenoh 访问控制处理

摘要： 访问控制从0.11开始支持，1.0.0 版本相对比较稳定了，对于访问控制包含了认证以及安全，目前zenoh 支持相对完整的基于用户密码的认证以及tls的，同时支持基于策略的安全控制 配置简单说明 参考配置 可以看到包含了rules，subjects，policies 三部分， { "access_c 阅读全文

posted @ 2024-12-15 08:00 荣锋亮 阅读(15) 评论(0) 推荐(0) 编辑

2024年12月14日

zenoh rest plugin 简单使用说明

摘要： zenoh rest plugin 提供了rest api 能力，包含了管理adminspace 以及通过get，put，delete 操作key 的能力 配置 包含了独立模式以及plugin模式，可以解决实际场景使用，基于plugin模式是一个不错的选择 参考配置 { "mode": "route 阅读全文

posted @ 2024-12-14 08:00 荣锋亮 阅读(9) 评论(0) 推荐(0) 编辑

2024年12月13日

zenoh 1.0.0 一些新变化

摘要： zenoh 1.0.0 发布了，可以说是一个比较稳定的版本了，同时有一些新的变化，比如api 上的以及内部处理上 Interest protocol 以前版本订阅以及查询会在系统所有节点进行定义的传播，新的不会在传播到客户端以及peer子系统，所有的操作都是发送到最新的router Storage 阅读全文

posted @ 2024-12-13 09:43 荣锋亮 阅读(11) 评论(0) 推荐(0) 编辑

2024年12月12日

pydiverse.pipedag 一个快速数据pipeline 调度库

摘要： pydiverse.pipedag 实际上就是一个python包，可以用来实现data pipeline 的调度，内部集成了cache，同时可以集成pandas，polars，sqlalchemy，ibis 等框架 说明 对于简单的data pipeline 场景（一般是单机玩法），基于pydive 阅读全文

posted @ 2024-12-12 08:00 荣锋亮 阅读(13) 评论(0) 推荐(0) 编辑

2024年12月11日

pg_parquet CrunchyData团队开源的pg parquet fdw

摘要： pg_parquet是CrunchyData 团队开源的pg paquet fdw，可以实现parquet 数据通过copy 命令到pg 表中，同时也支持将pg 表写入到parquet 文件中 一些使用场景 就是上边说的，写入或者读取parquet 数据 查看parquet 的元数据以及schema 阅读全文

posted @ 2024-12-11 08:00 荣锋亮 阅读(14) 评论(0) 推荐(0) 编辑

2024年12月10日

zenoh mqtt + nanomq 集成

摘要： zenoh mqtt 是一个zenoh 插件，可以让zenoh 提供mqtt 的能力（目前支持v3以及v5协议） 使用场景 路由mqtt 到边缘以及云 对于mqtt 系统进行桥接 通过zenoh rest api 进行mqtt 消息的发布订阅 mqtt ros2 交互 存储mqtt 消息到zenoh 阅读全文

posted @ 2024-12-10 08:00 荣锋亮 阅读(13) 评论(0) 推荐(0) 编辑

2024年12月9日

zenoh 强大的网络协议

摘要： zenoh 是一个强大的网络协议，支持灵活的组网模式，（peer，mesh，router，broker），同时具有快速的性能，对于业务集成 提供了灵活的使用方法（pub，sub，query），同时还支持插件化的geo 存储能力（同时还支持数据复制能力），zenoh 同时还对于 不同的使用场景进行了适 阅读全文

posted @ 2024-12-09 08:00 荣锋亮 阅读(46) 评论(0) 推荐(0) 编辑

2024年12月8日

vitest 基于vite 的下一代测试框架

摘要： vitest 基于vite 的下一代测试框架 包含的特性 基于vite 可以复用vite 的配置，转换器，解析器，插件 智能实时watch 模式支持 支持vue，react，svelte，lit，karko等框架的组件测试 ts/jsx 开箱即用的支持 esm 优先，顶级await 支持 基于tin 阅读全文

posted @ 2024-12-08 08:00 荣锋亮 阅读(9) 评论(0) 推荐(0) 编辑

2024年12月7日

ollama 0.5.0 发布内置结构化输出了

摘要： 就在前几天ollama 发布了0.5.0了内置支持结构化输出了，同时ollama python 以及js 库已经支持此特性了，很值得使用 说明 同时就在一个小时之前发布了0.5.1 解决了一些结构化输出的bug 参考资料 https://github.com/ollama/ollama/releas 阅读全文

posted @ 2024-12-07 08:59 荣锋亮 阅读(82) 评论(0) 推荐(0) 编辑

一些nodejs 线程池工具

摘要： 线程池可以更好的提升系统的资源使用率，以下是一些nodejs 线程池工具的说明 piscina 快速，高效的线程池实现，包含的特性比较多，比如灵活的线程池大小，追踪执行以及等待的时间分析，取消支持，自定义任务队列等 tinypool 是基于piscina fork的一个实现，目的是为了简单以及高效， 阅读全文

posted @ 2024-12-07 08:00 荣锋亮 阅读(9) 评论(0) 推荐(0) 编辑

2024年12月6日

pgtyped 类型安全的基于typescript 的sql 包

摘要： pgtyped 类型安全的基于typescript 的sql 包 包含的特性 类型安全 解析sql 以及ts 文件 阻止sql注入 说明 对于开发强类型的sql 查询处理的，pgtyped 是一个值得尝试的包，后边简单说明下使用 参考资料 https://pgtyped.dev/ https://g 阅读全文

posted @ 2024-12-06 08:00 荣锋亮 阅读(2) 评论(0) 推荐(0) 编辑

2024年12月5日

tsup 包含依赖的处理

摘要： tsup 默认打包的bundle 实际上是结合依赖自动处理的，但是默认会排除dependencies以及devDependencies，此模式与我们实际希望的效果可能是不一致的，可选的解决方法是配置noExternal（通过正则匹配处理） 参考使用 noExternal 参考配置 import {d 阅读全文

posted @ 2024-12-05 00:28 荣锋亮 阅读(13) 评论(0) 推荐(0) 编辑

2024年12月4日

pongo基于pg的类似mongo语法查询npm包

摘要： pongo 是一个node 包装可以让我们使用类似mongo 查询的模式进行数据操作（底层数据存储在pg）同时提供强一致性 包含的特性 利用pg 提供了强一致性 方便集成 重用mongo 代码，因为兼容mongo api （注意并不是100%） 增强了传统pg json 查询能力 可以更好的使用pg 阅读全文

posted @ 2024-12-04 00:12 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

2024年12月3日

pydantic ai集成ollama简单试用

摘要： 就是一个示例学习，体验下pydantic ai，llm 基于了ollama 参考代码 app.py 一个集成ollama 的测试 import asyncio from openai import AsyncOpenAI from pydantic import BaseModel,Field fr 阅读全文

posted @ 2024-12-03 21:21 荣锋亮 阅读(48) 评论(0) 推荐(0) 编辑

pydantic ai agent 框架

摘要： pydantic 团队也开始搞ai agent 框架了，目前属于beta 版 使用pydantic ai 的一些原因（来自官方介绍） 来自pydantic团队，不少llm python sdk 都使用了此包 模型无关，尽管当前支持的还有限，但是提供了简单接口可以扩展 类型安全 支持基于普通pytho 阅读全文

posted @ 2024-12-03 19:24 荣锋亮 阅读(68) 评论(0) 推荐(0) 编辑

Semantic Metadata 语义元数据

摘要： Semantic Metadata 是orbital 为了进行数据集成提出的一套玩法，同时orbital 也开发了一些框架层的支持（Taxi 进行模型描述） orbital 进行集成开发 Semantic Metadata 的特点 元数据定义了字段内容的契约 平台无关 系统基于此进行特定领域的业务a 阅读全文

posted @ 2024-12-03 08:00 荣锋亮 阅读(8) 评论(0) 推荐(0) 编辑

2024年12月2日

connector-x db数据快速加载到dataframe的库

摘要： connector-x db数据快速加载到dataframe的库，支持不少数据库的到dataframe 数据的写入 支持的数据库 pg mysql mariadb sqlite redshift clickhouse sql server azure sql database oracle big 阅读全文

posted @ 2024-12-02 08:06 荣锋亮 阅读(11) 评论(0) 推荐(0) 编辑

crawle web 爬虫&浏览器自动化库

摘要： crawle web 爬虫&浏览器自动化库 包含的特性 js&ts 支持 http 爬取，集成了cheerio 以及jsdom 的解析器 无头浏览器支持 爬取自动proxy 处理 队列以及存储，可以保存文件，快照，json 结果 内部不少方便的工具类，方便数据提取 说明 crawle 同时也提供了p 阅读全文

posted @ 2024-12-02 08:00 荣锋亮 阅读(19) 评论(0) 推荐(0) 编辑

下一页

导航