上一页 1 2 3 4 5 6 7 ··· 127 下一页

2024年12月27日

zenoh目前支持的一些协议

摘要： 大家如果在学习zenoh的时候（包括官方文档）可能会看到zneoh 支持的一些协议，最好查看支持协议的地方实际上是通过源码 当前支持的协议 如下 ├── zenoh-links │ ├── README.md │ ├── zenoh-link-quic │ ├── zenoh-link-serial 阅读全文

posted @ 2024-12-27 08:00 荣锋亮 阅读(39) 评论(0) 推荐(0) 编辑

2024年12月26日

zenoh-flow 基于zenoh的data flow 编程框架

摘要： zenoh-flow 是基于zenoh 的data flow 编程框架，可以实现分布式的flow 编程能力 zenoh-flow 抽象了source，operator，sink 等概念，基于zenoh 实现灵活的数据处理 source 可以基于rust 共享库或者python script 开发 o 阅读全文

posted @ 2024-12-26 08:00 荣锋亮 阅读(30) 评论(0) 推荐(0) 编辑

2024年12月25日

zenoh-rpc 基于zenoh 的rpc框架

摘要： zenoh-rpc 目前还属于早期项目，利用此框架我们可以开发去中心化的分布式微服务 包含的功能 强类型 服务注册 服务发现 自动生成客户端以及server端代码 去中心化的rpc服务 说明 zenoh 灵活的数据通信能力，可以实现不少有意思的服务，比如分布式web服务等，zenoh-rpc 目前还 阅读全文

posted @ 2024-12-25 08:00 荣锋亮 阅读(26) 评论(0) 推荐(0) 编辑

2024年12月24日

Daft 基于rust 开发的分布式数据引擎

摘要： Daft 是基于rust开发的分布式数据引擎，可以提供sql 以及python 的dataframe接口，可以应用在数据工程，分析，机器学习以及ai 场景 包含的集成 云存储集成，主要是s3，当然对于s3兼容的也是可以的 集成pytorch，numpy 集成，方便机器学习以及ai 周边的 数据湖周边 阅读全文

posted @ 2024-12-24 08:00 荣锋亮 阅读(50) 评论(0) 推荐(0) 编辑

2024年12月23日

drasi-platform 数据变动跟踪平台

摘要： drasi-platform 是一个面向变动数据处理的数据平台 参考架构 如下图，drasi 包含了source，continuouts query，reactions 等几个核心概念 说明 开发语言上drasi 使用了rust，cdc 部分集成了debezium，对于continuouts que 阅读全文

posted @ 2024-12-23 08:00 荣锋亮 阅读(28) 评论(0) 推荐(0) 编辑

2024年12月22日

dice redis 兼容的内存数据库

摘要： dicedb 是一个兼容redis 协议的内存数据库 包含的特性 兼容redis 快速高效，单机环境比原生redis快5倍 类sql 查询支持 push，pull支持 原生json 支持 支持http 以及websocket 协议 说明 从介绍上性能是很不错的，但是目前缺少生产部署的详细文档以及配置 阅读全文

posted @ 2024-12-22 08:00 荣锋亮 阅读(25) 评论(0) 推荐(0) 编辑

2024年12月21日

zenoh s3 存储插件使用

摘要： s3 存储插件可以方便的将数据持久化到对象存储中，同时基于s3 插件的特点以及zenoh 的能力实现方便的数据读写分离 参考玩法 可以将数据写入到s3中，同时对于不同的策略可以实现读写分离（可以基于数据复制以及基于zenoh的数据路由），玩法特别多 参考配置 zenoh router 配置 { "i 阅读全文

posted @ 2024-12-21 08:00 荣锋亮 阅读(18) 评论(0) 推荐(0) 编辑

2024年12月20日

zenoh wireshark 集成简单说明

摘要： zenoh 对于有wireshark 的支持包含了两个版本的，基于lua 的以及rust 开发的，推荐基于rust 的，一下是一个简单测试 构建 mac 系统的 配置依赖 ln -snf $(find /Applications/Wireshark.app/Contents/Frameworks - 阅读全文

posted @ 2024-12-20 08:00 荣锋亮 阅读(24) 评论(0) 推荐(0) 编辑

2024年12月19日

dbt 1.9 发布

摘要： dbt 1.9 发布了，比较重大的更新是对于increamenaal 的mcirobatch 支持以及新的snapshots 配置指南 说明 以上几个新特性以及修改官方已经有一些介绍了，很值得学习下，后边会简单介绍下 参考资料 https://www.getdbt.com/blog/dbt-core 阅读全文

posted @ 2024-12-19 09:08 荣锋亮 阅读(18) 评论(0) 推荐(0) 编辑

zenoh 监控

摘要： zenoh 提供了基于prometheus 的metrics 能力，但是需要开启stats feature ，同时官方也提供了一个基于datadog 的集成玩法 独立部署监控简单说明 开启系统的metrics 能力基于prometheus 周边灵活的集成处理 通过adminspace 对于一些指标的 阅读全文

posted @ 2024-12-19 08:00 荣锋亮 阅读(16) 评论(0) 推荐(0) 编辑

2024年12月18日

zenoh 存储复制以及校准

摘要： zenoh通过存储管理插件可以灵活的支持存储的处理（通过key_expr 配置存储位置，进行分片）同时对于处理的key 会自动进行持久化 但是如果是多个节点的就会存在一致性的问题，zenoh 提供了最总一致性语义可以进行数据的校准 参考配置 zenoh 1.0.0 之后版本的 "plugins": 阅读全文

posted @ 2024-12-18 08:00 荣锋亮 阅读(13) 评论(0) 推荐(0) 编辑

2024年12月17日

zenoh mqtt 简单说明

摘要： zenoh mqtt 是一个zenoh 插件，可以让zenoh 提供mqtt 的能力（目前支持v3以及v5协议） 使用场景 路由mqtt 到边缘以及云 对于mqtt 系统进行桥接 通过zenoh rest api 进行mqtt 消息的发布订阅 mqtt ros2 交互 存储mqtt 消息到zenoh 阅读全文

posted @ 2024-12-17 08:00 荣锋亮 阅读(38) 评论(0) 推荐(0) 编辑

2024年12月16日

zenoh 用户密码支持

摘要： zenoh 支持基本的用户密码认证，client以及peer 支持与router 以及peer 进行认证 配置说明 参考配置 client { /// The node's mode (router, peer or client) mode: "client", transport: { auth 阅读全文

posted @ 2024-12-16 08:00 荣锋亮 阅读(12) 评论(0) 推荐(0) 编辑

2024年12月15日

zenoh 访问控制处理

摘要： 访问控制从0.11开始支持，1.0.0 版本相对比较稳定了，对于访问控制包含了认证以及安全，目前zenoh 支持相对完整的基于用户密码的认证以及tls的，同时支持基于策略的安全控制 配置简单说明 参考配置 可以看到包含了rules，subjects，policies 三部分， { "access_c 阅读全文

posted @ 2024-12-15 08:00 荣锋亮 阅读(21) 评论(0) 推荐(0) 编辑

2024年12月14日

zenoh rest plugin 简单使用说明

摘要： zenoh rest plugin 提供了rest api 能力，包含了管理adminspace 以及通过get，put，delete 操作key 的能力 配置 包含了独立模式以及plugin模式，可以解决实际场景使用，基于plugin模式是一个不错的选择 参考配置 { "mode": "route 阅读全文

posted @ 2024-12-14 08:00 荣锋亮 阅读(24) 评论(0) 推荐(0) 编辑

2024年12月13日

zenoh 1.0.0 一些新变化

摘要： zenoh 1.0.0 发布了，可以说是一个比较稳定的版本了，同时有一些新的变化，比如api 上的以及内部处理上 Interest protocol 以前版本订阅以及查询会在系统所有节点进行定义的传播，新的不会在传播到客户端以及peer子系统，所有的操作都是发送到最新的router Storage 阅读全文

posted @ 2024-12-13 09:43 荣锋亮 阅读(23) 评论(0) 推荐(0) 编辑

2024年12月12日

pydiverse.pipedag 一个快速数据pipeline 调度库

摘要： pydiverse.pipedag 实际上就是一个python包，可以用来实现data pipeline 的调度，内部集成了cache，同时可以集成pandas，polars，sqlalchemy，ibis 等框架 说明 对于简单的data pipeline 场景（一般是单机玩法），基于pydive 阅读全文

posted @ 2024-12-12 08:00 荣锋亮 阅读(20) 评论(0) 推荐(0) 编辑

2024年12月11日

pg_parquet CrunchyData团队开源的pg parquet fdw

摘要： pg_parquet是CrunchyData 团队开源的pg paquet fdw，可以实现parquet 数据通过copy 命令到pg 表中，同时也支持将pg 表写入到parquet 文件中 一些使用场景 就是上边说的，写入或者读取parquet 数据 查看parquet 的元数据以及schema 阅读全文

posted @ 2024-12-11 08:00 荣锋亮 阅读(33) 评论(0) 推荐(0) 编辑

2024年12月10日

zenoh mqtt + nanomq 集成

摘要： zenoh mqtt 是一个zenoh 插件，可以让zenoh 提供mqtt 的能力（目前支持v3以及v5协议） 使用场景 路由mqtt 到边缘以及云 对于mqtt 系统进行桥接 通过zenoh rest api 进行mqtt 消息的发布订阅 mqtt ros2 交互 存储mqtt 消息到zenoh 阅读全文

posted @ 2024-12-10 08:00 荣锋亮 阅读(38) 评论(0) 推荐(0) 编辑

2024年12月9日

zenoh 强大的网络协议

摘要： zenoh 是一个强大的网络协议，支持灵活的组网模式，（peer，mesh，router，broker），同时具有快速的性能，对于业务集成 提供了灵活的使用方法（pub，sub，query），同时还支持插件化的geo 存储能力（同时还支持数据复制能力），zenoh 同时还对于 不同的使用场景进行了适 阅读全文

posted @ 2024-12-09 08:00 荣锋亮 阅读(104) 评论(0) 推荐(0) 编辑

2024年12月8日

vitest 基于vite 的下一代测试框架

摘要： vitest 基于vite 的下一代测试框架 包含的特性 基于vite 可以复用vite 的配置，转换器，解析器，插件 智能实时watch 模式支持 支持vue，react，svelte，lit，karko等框架的组件测试 ts/jsx 开箱即用的支持 esm 优先，顶级await 支持 基于tin 阅读全文

posted @ 2024-12-08 08:00 荣锋亮 阅读(23) 评论(0) 推荐(0) 编辑

2024年12月7日

ollama 0.5.0 发布内置结构化输出了

摘要： 就在前几天ollama 发布了0.5.0了内置支持结构化输出了，同时ollama python 以及js 库已经支持此特性了，很值得使用 说明 同时就在一个小时之前发布了0.5.1 解决了一些结构化输出的bug 参考资料 https://github.com/ollama/ollama/releas 阅读全文

posted @ 2024-12-07 08:59 荣锋亮 阅读(169) 评论(0) 推荐(0) 编辑

一些nodejs 线程池工具

摘要： 线程池可以更好的提升系统的资源使用率，以下是一些nodejs 线程池工具的说明 piscina 快速，高效的线程池实现，包含的特性比较多，比如灵活的线程池大小，追踪执行以及等待的时间分析，取消支持，自定义任务队列等 tinypool 是基于piscina fork的一个实现，目的是为了简单以及高效， 阅读全文

posted @ 2024-12-07 08:00 荣锋亮 阅读(31) 评论(0) 推荐(0) 编辑

2024年12月6日

pgtyped 类型安全的基于typescript 的sql 包

摘要： pgtyped 类型安全的基于typescript 的sql 包 包含的特性 类型安全 解析sql 以及ts 文件 阻止sql注入 说明 对于开发强类型的sql 查询处理的，pgtyped 是一个值得尝试的包，后边简单说明下使用 参考资料 https://pgtyped.dev/ https://g 阅读全文

posted @ 2024-12-06 08:00 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

2024年12月5日

tsup 包含依赖的处理

摘要： tsup 默认打包的bundle 实际上是结合依赖自动处理的，但是默认会排除dependencies以及devDependencies，此模式与我们实际希望的效果可能是不一致的，可选的解决方法是配置noExternal（通过正则匹配处理） 参考使用 noExternal 参考配置 import {d 阅读全文

posted @ 2024-12-05 00:28 荣锋亮 阅读(32) 评论(0) 推荐(0) 编辑

2024年12月4日

pongo基于pg的类似mongo语法查询npm包

摘要： pongo 是一个node 包装可以让我们使用类似mongo 查询的模式进行数据操作（底层数据存储在pg）同时提供强一致性 包含的特性 利用pg 提供了强一致性 方便集成 重用mongo 代码，因为兼容mongo api （注意并不是100%） 增强了传统pg json 查询能力 可以更好的使用pg 阅读全文

posted @ 2024-12-04 00:12 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

2024年12月3日

pydantic ai集成ollama简单试用

摘要： 就是一个示例学习，体验下pydantic ai，llm 基于了ollama 参考代码 app.py 一个集成ollama 的测试 import asyncio from openai import AsyncOpenAI from pydantic import BaseModel,Field fr 阅读全文

posted @ 2024-12-03 21:21 荣锋亮 阅读(169) 评论(0) 推荐(0) 编辑

pydantic ai agent 框架

摘要： pydantic 团队也开始搞ai agent 框架了，目前属于beta 版 使用pydantic ai 的一些原因（来自官方介绍） 来自pydantic团队，不少llm python sdk 都使用了此包 模型无关，尽管当前支持的还有限，但是提供了简单接口可以扩展 类型安全 支持基于普通pytho 阅读全文

posted @ 2024-12-03 19:24 荣锋亮 阅读(163) 评论(0) 推荐(0) 编辑

Semantic Metadata 语义元数据

摘要： Semantic Metadata 是orbital 为了进行数据集成提出的一套玩法，同时orbital 也开发了一些框架层的支持（Taxi 进行模型描述） orbital 进行集成开发 Semantic Metadata 的特点 元数据定义了字段内容的契约 平台无关 系统基于此进行特定领域的业务a 阅读全文

posted @ 2024-12-03 08:00 荣锋亮 阅读(15) 评论(0) 推荐(0) 编辑

2024年12月2日

connector-x db数据快速加载到dataframe的库

摘要： connector-x db数据快速加载到dataframe的库，支持不少数据库的到dataframe 数据的写入 支持的数据库 pg mysql mariadb sqlite redshift clickhouse sql server azure sql database oracle big 阅读全文

posted @ 2024-12-02 08:06 荣锋亮 阅读(32) 评论(0) 推荐(0) 编辑

crawle web 爬虫&浏览器自动化库

摘要： crawle web 爬虫&浏览器自动化库 包含的特性 js&ts 支持 http 爬取，集成了cheerio 以及jsdom 的解析器 无头浏览器支持 爬取自动proxy 处理 队列以及存储，可以保存文件，快照，json 结果 内部不少方便的工具类，方便数据提取 说明 crawle 同时也提供了p 阅读全文

posted @ 2024-12-02 08:00 荣锋亮 阅读(38) 评论(0) 推荐(0) 编辑

2024年12月1日

RulesEngine 微软开源的基于json的规则引擎

摘要： 以前有简单介绍过基于js 的json-rules-engine，以下简单说明下基于dotnet 的RulesEngine 包含的特性 基于json 的规则定义 多输入支持 动态对象输入支持 c# 表达式支持 基于class type 的自定义扩展表达式支持 作用域范围参数 post rule 执行动 阅读全文

posted @ 2024-12-01 08:00 荣锋亮 阅读(60) 评论(0) 推荐(0) 编辑

2024年11月30日

json-rules-engine engine 简单说明

摘要： engine包含了存储，执行规则，提交事件以及维护状态，比如添加以及一处fact，添加、删除、更新rule，同时还包含添加operator，添加以及维护conddition 执行 // run the engine await engine.run() // with constant facts 阅读全文

posted @ 2024-11-30 08:00 荣锋亮 阅读(67) 评论(0) 推荐(0) 编辑

2024年11月29日

json-rules-engine facts 简单说明

摘要： facts 实际上就是在rule 引擎执行中需要的数据，facts 数据可以是常量（硬编码的），也可以是动态设置的 参考使用 // constant value facts let fact = new Fact('apiKey', '4feca34f9d67e99b8af2') // dynami 阅读全文

posted @ 2024-11-29 08:00 荣锋亮 阅读(13) 评论(0) 推荐(0) 编辑

2024年11月28日

json-rules-engine almanac 简单说明

摘要： almanac 实际上就是一个上下文对象，可以对于engine 中依赖的一些fact 进行计算处理，同时可以方便的进行动态fact维护，同时还会复用以前的一些计算fact 官方参考使用 官方有一个比较完整的介绍例子 /* * Base fact for retrieving account data 阅读全文

posted @ 2024-11-28 08:00 荣锋亮 阅读(14) 评论(0) 推荐(0) 编辑

2024年11月27日

py-spy 0.4发布

摘要： 就在上个月许久没更新的py-spy 发布了新版本，提供了python 3.12，3.13 的支持，同时进行了不少bug 的修复 说明 py-spy 是一个很不错的python 应用profile 工具，对于python 应用的性能问题很值得尝试下 参考资料 https://github.com/be 阅读全文

posted @ 2024-11-27 13:44 荣锋亮 阅读(8) 评论(0) 推荐(0) 编辑

ollama python 新版本支持传递python 函数

摘要： 在ollama python sdk 的最近更新中，支持传递python 函数到chat 调用中，以下是一个简单示例 参考使用 app.py from ollama import chat from ollama import ChatResponse def add_two_numbers(a: 阅读全文

posted @ 2024-11-27 13:01 荣锋亮 阅读(207) 评论(0) 推荐(0) 编辑

jsonata json 查询以及转换语言

摘要： jsonata json 查询以及转换语言 包含的特性 轻量级 借鉴xpath 3.1 模式的语法 最少语法的复杂表达式支持 支持支持定义函数 内置不少方便数据维护以及合并的操作符以及函数 灵活的结构化输出 说明 原始jsonata 是js 实现，目前也有不少其他语言的实现，比如java 的，jso 阅读全文

posted @ 2024-11-27 08:00 荣锋亮 阅读(74) 评论(0) 推荐(0) 编辑

2024年11月26日

json-rules-engine 简单试用

摘要： 以下是对于json-rules-engine 的一个简单试用 rule 简单说明 json-rules-engine rule 基于json 进行描述配置，支持一些内置的operator，当然也可以自定义，rule 支持常见的any，and操作，同时支持嵌套，每个rule 可以包含自己的回调（成功以 阅读全文

posted @ 2024-11-26 08:00 荣锋亮 阅读(62) 评论(0) 推荐(0) 编辑

2024年11月25日

jint .net js 引擎

摘要： jint 是一个 .net js 引擎 一些运行场景 .net 应用安全的运行js（沙箱环境） 暴露native .net 对象到js 引擎中 脚本化应用中 简单使用 using Jint; var engine = new Engine() .SetValue("log", new Action< 阅读全文

posted @ 2024-11-25 08:31 荣锋亮 阅读(45) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 7 ··· 127 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示