12 2024 档案

不使用存储插件进行zenoh 存储扩展开发
摘要:以前简单说过zenoh 内部存储插件的处理机制,以下说明下如何直接基于zenoh 语言sdk 进行存储扩展开发 参考图 内部机制说明:对于写入put操作,我们基于ssubscriber 订阅特定的key信息,之后写入到存储中,对于get 请求,我们使用queryable 扩展定义callback 进 阅读全文

posted @ 2024-12-31 08:00 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

zenoh s3 存储插件简单说明
摘要:以前简单介绍过关于zenoh 存储插件的接口定义,以下简单说明下s3实现的处理以及使用 使用 zenoh 对于存储插件的处理统一是通过存储管理,之后是配置具体的存储插件时间 参考配置 "plugins": { // configuration of "storage-manager" plugin: 阅读全文

posted @ 2024-12-30 08:00 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

zenoh一些新特性
摘要:zenoh 支持一些新特性,只是这些特性目前还不稳定 一些不稳定的新特性 Liveiness 可以通过订阅以及get 模式获取状态,比较类似queryable ,但是个更加方便灵活的实现key 信息的监控 Attachment 可以添加一些自定义数据 Soure info 对于source 提供一些 阅读全文

posted @ 2024-12-29 08:00 荣锋亮 阅读(17) 评论(0) 推荐(0) 编辑

zenoh 存储插件的处理简单说明
摘要:zenoh 的存储插件实际上内部也是调用的,zenoh 暴露的session 操作的,对于数据的写入式基于了subscriber,对于数据的查询是基于了zenoh 的queryable,以下是一个简单说明完整的可以参考实际源码 内部处理 上边简单说明了下,内部实际上就是zenoh 的session 阅读全文

posted @ 2024-12-28 08:00 荣锋亮 阅读(14) 评论(0) 推荐(0) 编辑

zenoh目前支持的一些协议
摘要:大家如果在学习zenoh的时候(包括官方文档)可能会看到zneoh 支持的一些协议,最好查看支持协议的地方实际上是通过源码 当前支持的协议 如下 ├── zenoh-links │ ├── README.md │ ├── zenoh-link-quic │ ├── zenoh-link-serial 阅读全文

posted @ 2024-12-27 08:00 荣锋亮 阅读(31) 评论(0) 推荐(0) 编辑

zenoh-flow 基于zenoh的data flow 编程框架
摘要:zenoh-flow 是基于zenoh 的data flow 编程框架,可以实现分布式的flow 编程能力 zenoh-flow 抽象了source,operator,sink 等概念,基于zenoh 实现灵活的数据处理 source 可以基于rust 共享库或者python script 开发 o 阅读全文

posted @ 2024-12-26 08:00 荣锋亮 阅读(28) 评论(0) 推荐(0) 编辑

zenoh-rpc 基于zenoh 的rpc框架
摘要:zenoh-rpc 目前还属于早期项目,利用此框架我们可以开发去中心化的分布式微服务 包含的功能 强类型 服务注册 服务发现 自动生成客户端以及server端代码 去中心化的rpc服务 说明 zenoh 灵活的数据通信能力,可以实现不少有意思的服务,比如分布式web服务等,zenoh-rpc 目前还 阅读全文

posted @ 2024-12-25 08:00 荣锋亮 阅读(22) 评论(0) 推荐(0) 编辑

Daft 基于rust 开发的分布式数据引擎
摘要:Daft 是基于rust开发的分布式数据引擎,可以提供sql 以及python 的dataframe接口,可以应用在数据工程,分析,机器学习以及ai 场景 包含的集成 云存储集成,主要是s3,当然对于s3兼容的也是可以的 集成pytorch,numpy 集成,方便机器学习以及ai 周边的 数据湖周边 阅读全文

posted @ 2024-12-24 08:00 荣锋亮 阅读(45) 评论(0) 推荐(0) 编辑

drasi-platform 数据变动跟踪平台
摘要:drasi-platform 是一个面向变动数据处理的数据平台 参考架构 如下图,drasi 包含了source,continuouts query,reactions 等几个核心概念 说明 开发语言上drasi 使用了rust,cdc 部分集成了debezium,对于continuouts que 阅读全文

posted @ 2024-12-23 08:00 荣锋亮 阅读(24) 评论(0) 推荐(0) 编辑

dice redis 兼容的内存数据库
摘要:dicedb 是一个兼容redis 协议的内存数据库 包含的特性 兼容redis 快速高效,单机环境比原生redis快5倍 类sql 查询支持 push,pull支持 原生json 支持 支持http 以及websocket 协议 说明 从介绍上性能是很不错的,但是目前缺少生产部署的详细文档以及配置 阅读全文

posted @ 2024-12-22 08:00 荣锋亮 阅读(24) 评论(0) 推荐(0) 编辑

zenoh s3 存储插件使用
摘要:s3 存储插件可以方便的将数据持久化到对象存储中,同时基于s3 插件的特点以及zenoh 的能力实现方便的数据读写分离 参考玩法 可以将数据写入到s3中,同时对于不同的策略可以实现读写分离(可以基于数据复制以及基于zenoh的数据路由),玩法特别多 参考配置 zenoh router 配置 { "i 阅读全文

posted @ 2024-12-21 08:00 荣锋亮 阅读(16) 评论(0) 推荐(0) 编辑

zenoh wireshark 集成简单说明
摘要:zenoh 对于有wireshark 的支持包含了两个版本的,基于lua 的以及rust 开发的,推荐基于rust 的,一下是一个简单测试 构建 mac 系统的 配置依赖 ln -snf $(find /Applications/Wireshark.app/Contents/Frameworks - 阅读全文

posted @ 2024-12-20 08:00 荣锋亮 阅读(22) 评论(0) 推荐(0) 编辑

dbt 1.9 发布
摘要:dbt 1.9 发布了,比较重大的更新是对于increamenaal 的mcirobatch 支持以及新的snapshots 配置指南 说明 以上几个新特性以及修改官方已经有一些介绍了,很值得学习下,后边会简单介绍下 参考资料 https://www.getdbt.com/blog/dbt-core 阅读全文

posted @ 2024-12-19 09:08 荣锋亮 阅读(14) 评论(0) 推荐(0) 编辑

zenoh 监控
摘要:zenoh 提供了基于prometheus 的metrics 能力,但是需要开启stats feature ,同时官方也提供了一个基于datadog 的集成玩法 独立部署监控简单说明 开启系统的metrics 能力基于prometheus 周边灵活的集成处理 通过adminspace 对于一些指标的 阅读全文

posted @ 2024-12-19 08:00 荣锋亮 阅读(15) 评论(0) 推荐(0) 编辑

zenoh 存储复制以及校准
摘要:zenoh通过存储管理插件可以灵活的支持存储的处理(通过key_expr 配置存储位置,进行分片)同时对于处理的key 会自动进行持久化 但是如果是多个节点的就会存在一致性的问题,zenoh 提供了最总一致性语义可以进行数据的校准 参考配置 zenoh 1.0.0 之后版本的 "plugins": 阅读全文

posted @ 2024-12-18 08:00 荣锋亮 阅读(10) 评论(0) 推荐(0) 编辑

zenoh mqtt 简单说明
摘要:zenoh mqtt 是一个zenoh 插件,可以让zenoh 提供mqtt 的能力(目前支持v3以及v5协议) 使用场景 路由mqtt 到边缘以及云 对于mqtt 系统进行桥接 通过zenoh rest api 进行mqtt 消息的发布订阅 mqtt ros2 交互 存储mqtt 消息到zenoh 阅读全文

posted @ 2024-12-17 08:00 荣锋亮 阅读(35) 评论(0) 推荐(0) 编辑

zenoh 用户密码支持
摘要:zenoh 支持基本的用户密码认证,client以及peer 支持与router 以及peer 进行认证 配置说明 参考配置 client { /// The node's mode (router, peer or client) mode: "client", transport: { auth 阅读全文

posted @ 2024-12-16 08:00 荣锋亮 阅读(11) 评论(0) 推荐(0) 编辑

zenoh 访问控制处理
摘要:访问控制从0.11开始支持,1.0.0 版本相对比较稳定了,对于访问控制包含了认证以及安全,目前zenoh 支持相对完整的基于用户密码的认证以及tls的,同时支持基于策略的安全控制 配置简单说明 参考配置 可以看到包含了rules,subjects,policies 三部分, { "access_c 阅读全文

posted @ 2024-12-15 08:00 荣锋亮 阅读(20) 评论(0) 推荐(0) 编辑

zenoh rest plugin 简单使用说明
摘要:zenoh rest plugin 提供了rest api 能力,包含了管理adminspace 以及通过get,put,delete 操作key 的能力 配置 包含了独立模式以及plugin模式,可以解决实际场景使用,基于plugin模式是一个不错的选择 参考配置 { "mode": "route 阅读全文

posted @ 2024-12-14 08:00 荣锋亮 阅读(21) 评论(0) 推荐(0) 编辑

zenoh 1.0.0 一些新变化
摘要:zenoh 1.0.0 发布了,可以说是一个比较稳定的版本了,同时有一些新的变化,比如api 上的以及内部处理上 Interest protocol 以前版本订阅以及查询会在系统所有节点进行定义的传播,新的不会在传播到客户端以及peer子系统,所有的操作都是发送到最新的router Storage 阅读全文

posted @ 2024-12-13 09:43 荣锋亮 阅读(21) 评论(0) 推荐(0) 编辑

pydiverse.pipedag 一个快速数据pipeline 调度库
摘要:pydiverse.pipedag 实际上就是一个python包,可以用来实现data pipeline 的调度,内部集成了cache,同时可以集成pandas,polars,sqlalchemy,ibis 等框架 说明 对于简单的data pipeline 场景(一般是单机玩法),基于pydive 阅读全文

posted @ 2024-12-12 08:00 荣锋亮 阅读(19) 评论(0) 推荐(0) 编辑

pg_parquet CrunchyData团队开源的pg parquet fdw
摘要:pg_parquet是CrunchyData 团队开源的pg paquet fdw,可以实现parquet 数据通过copy 命令到pg 表中,同时也支持将pg 表写入到parquet 文件中 一些使用场景 就是上边说的,写入或者读取parquet 数据 查看parquet 的元数据以及schema 阅读全文

posted @ 2024-12-11 08:00 荣锋亮 阅读(28) 评论(0) 推荐(0) 编辑

zenoh mqtt + nanomq 集成
摘要:zenoh mqtt 是一个zenoh 插件,可以让zenoh 提供mqtt 的能力(目前支持v3以及v5协议) 使用场景 路由mqtt 到边缘以及云 对于mqtt 系统进行桥接 通过zenoh rest api 进行mqtt 消息的发布订阅 mqtt ros2 交互 存储mqtt 消息到zenoh 阅读全文

posted @ 2024-12-10 08:00 荣锋亮 阅读(33) 评论(0) 推荐(0) 编辑

zenoh 强大的网络协议
摘要:zenoh 是一个强大的网络协议,支持灵活的组网模式,(peer,mesh,router,broker),同时具有快速的性能,对于业务集成 提供了灵活的使用方法(pub,sub,query),同时还支持插件化的geo 存储能力(同时还支持数据复制能力),zenoh 同时还对于 不同的使用场景进行了适 阅读全文

posted @ 2024-12-09 08:00 荣锋亮 阅读(91) 评论(0) 推荐(0) 编辑

vitest 基于vite 的下一代测试框架
摘要:vitest 基于vite 的下一代测试框架 包含的特性 基于vite 可以复用vite 的配置,转换器,解析器,插件 智能实时watch 模式支持 支持vue,react,svelte,lit,karko等框架的组件测试 ts/jsx 开箱即用的支持 esm 优先,顶级await 支持 基于tin 阅读全文

posted @ 2024-12-08 08:00 荣锋亮 阅读(16) 评论(0) 推荐(0) 编辑

ollama 0.5.0 发布内置结构化输出了
摘要:就在前几天ollama 发布了0.5.0了内置支持结构化输出了,同时ollama python 以及js 库已经支持此特性了,很值得使用 说明 同时就在一个小时之前发布了0.5.1 解决了一些结构化输出的bug 参考资料 https://github.com/ollama/ollama/releas 阅读全文

posted @ 2024-12-07 08:59 荣锋亮 阅读(159) 评论(0) 推荐(0) 编辑

一些nodejs 线程池工具
摘要:线程池可以更好的提升系统的资源使用率,以下是一些nodejs 线程池工具的说明 piscina 快速,高效的线程池实现,包含的特性比较多,比如灵活的线程池大小,追踪执行以及等待的时间分析,取消支持,自定义任务队列等 tinypool 是基于piscina fork的一个实现,目的是为了简单以及高效, 阅读全文

posted @ 2024-12-07 08:00 荣锋亮 阅读(23) 评论(0) 推荐(0) 编辑

pgtyped 类型安全的基于typescript 的sql 包
摘要:pgtyped 类型安全的基于typescript 的sql 包 包含的特性 类型安全 解析sql 以及ts 文件 阻止sql注入 说明 对于开发强类型的sql 查询处理的,pgtyped 是一个值得尝试的包,后边简单说明下使用 参考资料 https://pgtyped.dev/ https://g 阅读全文

posted @ 2024-12-06 08:00 荣锋亮 阅读(2) 评论(0) 推荐(0) 编辑

tsup 包含依赖的处理
摘要:tsup 默认打包的bundle 实际上是结合依赖自动处理的,但是默认会排除dependencies以及devDependencies,此模式与我们实际希望的效果可能是不一致的,可选的解决方法是配置noExternal(通过正则匹配处理) 参考使用 noExternal 参考配置 import {d 阅读全文

posted @ 2024-12-05 00:28 荣锋亮 阅读(28) 评论(0) 推荐(0) 编辑

pongo基于pg的类似mongo语法查询npm包
摘要:pongo 是一个node 包装可以让我们使用类似mongo 查询的模式进行数据操作(底层数据存储在pg)同时提供强一致性 包含的特性 利用pg 提供了强一致性 方便集成 重用mongo 代码,因为兼容mongo api (注意并不是100%) 增强了传统pg json 查询能力 可以更好的使用pg 阅读全文

posted @ 2024-12-04 00:12 荣锋亮 阅读(5) 评论(0) 推荐(0) 编辑

pydantic ai集成ollama简单试用
摘要:就是一个示例学习,体验下pydantic ai,llm 基于了ollama 参考代码 app.py 一个集成ollama 的测试 import asyncio from openai import AsyncOpenAI from pydantic import BaseModel,Field fr 阅读全文

posted @ 2024-12-03 21:21 荣锋亮 阅读(130) 评论(0) 推荐(0) 编辑

pydantic ai agent 框架
摘要:pydantic 团队也开始搞ai agent 框架了,目前属于beta 版 使用pydantic ai 的一些原因(来自官方介绍) 来自pydantic团队,不少llm python sdk 都使用了此包 模型无关,尽管当前支持的还有限,但是提供了简单接口可以扩展 类型安全 支持基于普通pytho 阅读全文

posted @ 2024-12-03 19:24 荣锋亮 阅读(147) 评论(0) 推荐(0) 编辑

Semantic Metadata 语义元数据
摘要:Semantic Metadata 是orbital 为了进行数据集成提出的一套玩法,同时orbital 也开发了一些框架层的支持(Taxi 进行模型描述) orbital 进行集成开发 Semantic Metadata 的特点 元数据定义了字段内容的契约 平台无关 系统基于此进行特定领域的业务a 阅读全文

posted @ 2024-12-03 08:00 荣锋亮 阅读(10) 评论(0) 推荐(0) 编辑

connector-x db数据快速加载到dataframe的库
摘要:connector-x db数据快速加载到dataframe的库,支持不少数据库的到dataframe 数据的写入 支持的数据库 pg mysql mariadb sqlite redshift clickhouse sql server azure sql database oracle big 阅读全文

posted @ 2024-12-02 08:06 荣锋亮 阅读(30) 评论(0) 推荐(0) 编辑

crawle web 爬虫&浏览器自动化库
摘要:crawle web 爬虫&浏览器自动化库 包含的特性 js&ts 支持 http 爬取,集成了cheerio 以及jsdom 的解析器 无头浏览器支持 爬取自动proxy 处理 队列以及存储,可以保存文件,快照,json 结果 内部不少方便的工具类,方便数据提取 说明 crawle 同时也提供了p 阅读全文

posted @ 2024-12-02 08:00 荣锋亮 阅读(30) 评论(0) 推荐(0) 编辑

RulesEngine 微软开源的基于json的规则引擎
摘要:以前有简单介绍过基于js 的json-rules-engine,以下简单说明下基于dotnet 的RulesEngine 包含的特性 基于json 的规则定义 多输入支持 动态对象输入支持 c# 表达式支持 基于class type 的自定义扩展表达式支持 作用域范围参数 post rule 执行动 阅读全文

posted @ 2024-12-01 08:00 荣锋亮 阅读(56) 评论(0) 推荐(0) 编辑

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8
点击右上角即可分享
微信分享提示