随笔分类 -  云运维&&云架构

上一页 1 2 3 4 5 6 7 8 ··· 189 下一页

pip 离线包下载一些方法
摘要：有些时候我们需要进行离线下载pip包，方法很多，以下简单说明几种方法 pip download 会包含依赖，比较推荐的方法 pip download requests -d ./offline_packages pip wheel 可以下载whl 格式的包，但是只是单一包，缺少依赖相关的 pip w 阅读全文

posted @ 2025-01-06 08:00 荣锋亮 阅读(197) 评论(0) 推荐(0) 编辑

zenoh webserver SUB 的一个bug
摘要：此问题在1.0.0 中存在，1.0.1 已经解决了，重新替换插件就可以了，老版本sub 对于如下格式的不能生效 <keey_expre>?_method=SUB 参考资料 https://github.com/eclipse-zenoh/zenoh-plugin-webserver https:// 阅读全文

posted @ 2025-01-05 08:00 荣锋亮 阅读(7) 评论(0) 推荐(0) 编辑

zenoh 支持的配置参数
摘要：zenoh 官方文档只是简单的说明了下zenoh的配置，实际相对完整的在github 中有一个示例DEFAULT_CONFIG.json5 对于实际了解这些参数还是比较有用的，有利于进行优化以及结合实际进行zenoh 部署的调整 参考资料 https://zenoh.io/docs/migratio 阅读全文

posted @ 2025-01-04 08:00 荣锋亮 阅读(69) 评论(0) 推荐(0) 编辑

opencv python pip mac 安装一个问题
摘要：opencv 对于不同平台实际已经提供了abi3 兼容的whl 文件，我们可以直接下载快速安装，而不是pip 安装的时候进行构建会特别慢 但是对于mac 版本有一些问题 问题说明 现有whl的格式opencv_python-4.10.0.84-cp37-abi3-macosx_12_0_x86_64 阅读全文

posted @ 2025-01-03 08:00 荣锋亮 阅读(17) 评论(0) 推荐(0) 编辑

zenoh webserver 插件一个有意思的功能
摘要：zenoh webserver plugin 是可以获取key 的信息，通过http 协议实现资源的映射，同时zenoh对于key 支持查询参数，比如SUB 可以实现流式数据处理 ，比如视频以及多媒体资源类的处理 流式请求格式 <key_expre>?_method=SUB 使用此格式，可以实现流式 阅读全文

posted @ 2025-01-02 08:00 荣锋亮 阅读(20) 评论(0) 推荐(0) 编辑

zenoh ts sdk 内部实现简单说明
摘要：以前简单说过zenoh 内部是直接支持websocket 协议的，但是如果需要使用websocket就需要自己包装特定的消息体才能通信 为了方便web使用（同时也支持node）zenoh ts sdk 基于remote plugin （同样也是暴露websocket api），之后包装为标准zeno 阅读全文

posted @ 2025-01-01 08:00 荣锋亮 阅读(11) 评论(0) 推荐(0) 编辑

不使用存储插件进行zenoh 存储扩展开发
摘要：以前简单说过zenoh 内部存储插件的处理机制，以下说明下如何直接基于zenoh 语言sdk 进行存储扩展开发 参考图 内部机制说明：对于写入put操作，我们基于ssubscriber 订阅特定的key信息，之后写入到存储中，对于get 请求，我们使用queryable 扩展定义callback 进 阅读全文

posted @ 2024-12-31 08:00 荣锋亮 阅读(7) 评论(0) 推荐(0) 编辑

zenoh s3 存储插件简单说明
摘要：以前简单介绍过关于zenoh 存储插件的接口定义，以下简单说明下s3实现的处理以及使用 使用 zenoh 对于存储插件的处理统一是通过存储管理，之后是配置具体的存储插件时间 参考配置 "plugins": { // configuration of "storage-manager" plugin: 阅读全文

posted @ 2024-12-30 08:00 荣锋亮 阅读(8) 评论(0) 推荐(0) 编辑

zenoh一些新特性
摘要：zenoh 支持一些新特性，只是这些特性目前还不稳定 一些不稳定的新特性 Liveiness 可以通过订阅以及get 模式获取状态，比较类似queryable ，但是个更加方便灵活的实现key 信息的监控 Attachment 可以添加一些自定义数据 Soure info 对于source 提供一些 阅读全文

posted @ 2024-12-29 08:00 荣锋亮 阅读(18) 评论(0) 推荐(0) 编辑

zenoh 存储插件的处理简单说明
摘要：zenoh 的存储插件实际上内部也是调用的，zenoh 暴露的session 操作的，对于数据的写入式基于了subscriber，对于数据的查询是基于了zenoh 的queryable，以下是一个简单说明完整的可以参考实际源码 内部处理 上边简单说明了下，内部实际上就是zenoh 的session 阅读全文

posted @ 2024-12-28 08:00 荣锋亮 阅读(16) 评论(0) 推荐(0) 编辑

zenoh目前支持的一些协议
摘要：大家如果在学习zenoh的时候（包括官方文档）可能会看到zneoh 支持的一些协议，最好查看支持协议的地方实际上是通过源码 当前支持的协议 如下 ├── zenoh-links │ ├── README.md │ ├── zenoh-link-quic │ ├── zenoh-link-serial 阅读全文

posted @ 2024-12-27 08:00 荣锋亮 阅读(39) 评论(0) 推荐(0) 编辑

zenoh-flow 基于zenoh的data flow 编程框架
摘要：zenoh-flow 是基于zenoh 的data flow 编程框架，可以实现分布式的flow 编程能力 zenoh-flow 抽象了source，operator，sink 等概念，基于zenoh 实现灵活的数据处理 source 可以基于rust 共享库或者python script 开发 o 阅读全文

posted @ 2024-12-26 08:00 荣锋亮 阅读(30) 评论(0) 推荐(0) 编辑

zenoh-rpc 基于zenoh 的rpc框架
摘要：zenoh-rpc 目前还属于早期项目，利用此框架我们可以开发去中心化的分布式微服务 包含的功能 强类型 服务注册 服务发现 自动生成客户端以及server端代码 去中心化的rpc服务 说明 zenoh 灵活的数据通信能力，可以实现不少有意思的服务，比如分布式web服务等，zenoh-rpc 目前还 阅读全文

posted @ 2024-12-25 08:00 荣锋亮 阅读(26) 评论(0) 推荐(0) 编辑

Daft 基于rust 开发的分布式数据引擎
摘要：Daft 是基于rust开发的分布式数据引擎，可以提供sql 以及python 的dataframe接口，可以应用在数据工程，分析，机器学习以及ai 场景 包含的集成 云存储集成，主要是s3，当然对于s3兼容的也是可以的 集成pytorch，numpy 集成，方便机器学习以及ai 周边的 数据湖周边 阅读全文

posted @ 2024-12-24 08:00 荣锋亮 阅读(50) 评论(0) 推荐(0) 编辑

drasi-platform 数据变动跟踪平台
摘要：drasi-platform 是一个面向变动数据处理的数据平台 参考架构 如下图，drasi 包含了source，continuouts query，reactions 等几个核心概念 说明 开发语言上drasi 使用了rust，cdc 部分集成了debezium，对于continuouts que 阅读全文

posted @ 2024-12-23 08:00 荣锋亮 阅读(27) 评论(0) 推荐(0) 编辑

dice redis 兼容的内存数据库
摘要：dicedb 是一个兼容redis 协议的内存数据库 包含的特性 兼容redis 快速高效，单机环境比原生redis快5倍 类sql 查询支持 push，pull支持 原生json 支持 支持http 以及websocket 协议 说明 从介绍上性能是很不错的，但是目前缺少生产部署的详细文档以及配置 阅读全文

posted @ 2024-12-22 08:00 荣锋亮 阅读(25) 评论(0) 推荐(0) 编辑

zenoh s3 存储插件使用
摘要：s3 存储插件可以方便的将数据持久化到对象存储中，同时基于s3 插件的特点以及zenoh 的能力实现方便的数据读写分离 参考玩法 可以将数据写入到s3中，同时对于不同的策略可以实现读写分离（可以基于数据复制以及基于zenoh的数据路由），玩法特别多 参考配置 zenoh router 配置 { "i 阅读全文

posted @ 2024-12-21 08:00 荣锋亮 阅读(18) 评论(0) 推荐(0) 编辑

zenoh wireshark 集成简单说明
摘要：zenoh 对于有wireshark 的支持包含了两个版本的，基于lua 的以及rust 开发的，推荐基于rust 的，一下是一个简单测试 构建 mac 系统的 配置依赖 ln -snf $(find /Applications/Wireshark.app/Contents/Frameworks - 阅读全文

posted @ 2024-12-20 08:00 荣锋亮 阅读(24) 评论(0) 推荐(0) 编辑

dbt 1.9 发布
摘要：dbt 1.9 发布了，比较重大的更新是对于increamenaal 的mcirobatch 支持以及新的snapshots 配置指南 说明 以上几个新特性以及修改官方已经有一些介绍了，很值得学习下，后边会简单介绍下 参考资料 https://www.getdbt.com/blog/dbt-core 阅读全文

posted @ 2024-12-19 09:08 荣锋亮 阅读(17) 评论(0) 推荐(0) 编辑

zenoh 监控
摘要：zenoh 提供了基于prometheus 的metrics 能力，但是需要开启stats feature ，同时官方也提供了一个基于datadog 的集成玩法 独立部署监控简单说明 开启系统的metrics 能力基于prometheus 周边灵活的集成处理 通过adminspace 对于一些指标的 阅读全文

posted @ 2024-12-19 08:00 荣锋亮 阅读(16) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 7 8 ··· 189 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示