随笔分类 -  云运维&&云架构

1 2 3 4 5 ··· 190 下一页

kiwipy rpc模式简单试用
摘要：主要是对于功能的一个体验，测试几个功能 rpc模式代码 注意依赖了amqp协议，需要先部署服务 rabbitmq 服务 services: rabbitmq: image: rabbitmq:3-management ports: - "5672:5672" - "15672:15672" envi 阅读全文

posted @ 2025-03-11 08:00 荣锋亮 阅读(0) 评论(0) 推荐(0) 编辑

kiwipy 方便开发rpc&任务队列&广播的python消息库
摘要：kiwipy 方便开发rpc&任务队列&广播的python消息库，目前主要应用在aiidateam 项目中 包含的特性 每秒1000次的消息处理 高强健，不会在连接异常的时候丢失消息 原生支持rabbitmq 接口 支持任务队列，广播，rpc 支持线程以及协程模式的连接 支持python 3.7+ 阅读全文

posted @ 2025-03-10 08:00 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

kombu transport 查找的处理
摘要：简单说明下kombu transport查找的处理，方便学习自定义broker的处理 Connection 处理 def __init__(self, hostname='localhost', userid=None, password=None, virtual_host=None, port= 阅读全文

posted @ 2025-03-09 08:00 荣锋亮 阅读(1) 评论(0) 推荐(0) 编辑

celery broker 连接参数简单说明
摘要：简单了解celery broker 连接参数的配置以及内部处理可以有助于更好的使用celery 以及开发自己的broker 支持 一个参考broker配置 redis redis://:password@hostname:port/db_number 自定义broker app = Celery( 阅读全文

posted @ 2025-03-08 08:00 荣锋亮 阅读(2) 评论(0) 推荐(0) 编辑

celery broker配置格式简单说明
摘要：celery 对于broker实际上是可以支持不少的，只是目前提供了一些简单说明 参考格式 redis redis://:password@hostname:port/db_number rabbitmq broker_url = 'amqp://myuser:mypassword@localhos 阅读全文

posted @ 2025-03-08 08:00 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

honcho Foreman python 实现
摘要：honcho 使用 Foreman的 python实现，可以实现灵活的服务启动管理 参考使用 比如一个一个celery 启动的 创建Procfile文件 woker1: celery -A app worker -l INFO --queues queue1 woker2: celery -A ap 阅读全文

posted @ 2025-03-07 08:00 荣锋亮 阅读(7) 评论(0) 推荐(0) 编辑

slatedb 基于对象存储的嵌入式数据库
摘要：slatedb 是基于rust 开发的，数据存储层基于对象存储的嵌入式数据库 包含的特性 集成对象存储的持久性 零磁盘架构（利用对象存储） 简单复制（利用对象存储） 可调整的性能 读缓存 支持事物写（规划中，暂未实现） 快照隔离（规划中，暂未实现） 写隔离，可以阻止僵尸进程的影响 插件化的压缩处理 阅读全文

posted @ 2025-03-06 08:00 荣锋亮 阅读(7) 评论(0) 推荐(0) 编辑

kombu python 的消息库
摘要：kombu 是celery 团队开发的一个python 消息库，基于此库可以方便的进行amqt 语义api 的消息通信 包含的特性 支持插件化的消息通道机制，比如py-amqt, pyro,mongodb,redis 支持对于消息负载的自动编码，序列化，压缩 跨通道的一致异常处理 对于连接以及cha 阅读全文

posted @ 2025-03-05 08:00 荣锋亮 阅读(2) 评论(0) 推荐(0) 编辑

datachain 简单试用
摘要：主要是一个体验，内容来自官方文档 参考代码 app.py from datachain import Column, DataChain meta = DataChain.from_json("gs://datachain-demo/dogs-and-cats/*json", object_name 阅读全文

posted @ 2025-03-04 08:00 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

datachain ai 友好的python etl以及分析包
摘要：datachain 提供了方便进行多模态ai 数据的etl 以及分析能力 使用场景 多模态的数据准备以及数据治理 生成式ai 数据分析 特性 多模态数据集版本支持，支持数据以及元数据的统一持久化管理 python 友好，支持并行高效内存计算 数据增强以及处理，基于本地ai 模型或者llm api 生 阅读全文

posted @ 2025-03-03 08:00 荣锋亮 阅读(10) 评论(0) 推荐(0) 编辑

celery signature app instance 创建简单说明
摘要：celery 对于celery 实例的处理比较有意思，没有的会创建默认的，如果定义了会基于python 的threading.local 进行引用，所以我们会看到 celery 一些代码使用上比较有意思（group，chain等，不需要明确指定app 就可以进行任务的创建以及数据获取） 一个简单通过 阅读全文

posted @ 2025-03-02 08:00 荣锋亮 阅读(8) 评论(0) 推荐(0) 编辑

dramatiq python3的快速可靠的分布式任务处理库
摘要：dramatiq 是基于python3开发的分布式任务处理库 设计原则 高可靠性和高性能 简单易懂的核心 约定高于配置 与其他对比 官方提供了一个表还是值得参考的 说明 以上表很值得参考，后边会介绍下使用 参考资料 https://github.com/Bogdanp/dramatiq https: 阅读全文

posted @ 2025-03-01 08:00 荣锋亮 阅读(11) 评论(0) 推荐(0) 编辑

celery group job 不同queue的使用
摘要：celery group 的group 可以实现任务并行，实际上对于不同的task 我们还可以配置不同的queue，实现资源的灵活分配，当然对于queue 的worker 节点，我们可以部署在不同的环境中（比如cpu，gpu分离的场景中），这样实现资源的合理使用 task 定义 app.py fro 阅读全文

posted @ 2025-02-28 08:00 荣锋亮 阅读(7) 评论(0) 推荐(0) 编辑

perfetto开源系统profiling&应用trace 以及分析工具
摘要：perfetto 是google 开源的系统profiling 以及trace 工具 完整能力图 如下图，可以看到perfetto提供的维度还是比较全的，而且支持不同操作系统的trace能力 说明 基于官方提供的可视化ui 工具，可以快速体验perfetto包含的能力，对于性能分析此工具还是值得尝试 阅读全文

posted @ 2025-02-27 08:00 荣锋亮 阅读(10) 评论(0) 推荐(0) 编辑

通过pyinstaller 打包bottle 应用
摘要：pyinstaller 是一个很不错的python 应用打包工具，灵活简单，以下对于以前一个简单的bottle 使用pyinstaller 打包 打包命令 代码参考下边的资料 参考命令 pyinstaller --add-data "static/*:static" app.py 一些细节 因为打包 阅读全文

posted @ 2025-02-26 08:00 荣锋亮 阅读(8) 评论(0) 推荐(0) 编辑

bottle stream 模式数据返回简单示例
摘要：bottle对于支持迭代以及生成器的方法会使用类似stream 的模式返回数据，以下是一个简单的对于基于ollama 的stream 数据渲染处理示例 bottle 应用 app.py from bottle import route, run, template,static_file from 阅读全文

posted @ 2025-02-25 08:00 荣锋亮 阅读(8) 评论(0) 推荐(0) 编辑

bottle python micro 框架
摘要：bottle是一个 python micro 框架，轻量简单 包含的特性 基于函数简单，动态路由 内置模版引擎，同时还支持jinja2，mako，cheetah 等模版引擎 内置灵活的工具类，的对于表单，文件，cookies，headers 处理 server 支持，支持适配兼容的wsgi 协议 说 阅读全文

posted @ 2025-02-24 08:00 荣锋亮 阅读(7) 评论(0) 推荐(0) 编辑

Eel 基于python+浏览器的开发类似electron 应用
摘要：Eel 是基于基于python 可以方便开发基于浏览器的桌面应用，内部eel 可以通过@eel.expose 实现js 与python 代码的互通信 包含的特点 使用简单 支持js 与python 代码的互相调用 支持回掉以及同步处理，当然还支持python 的异步处理 提供了基于pyinstall 阅读全文

posted @ 2025-02-23 08:00 荣锋亮 阅读(24) 评论(0) 推荐(0) 编辑

mindsdb dbt 扩展简单说明
摘要：mindsdb 提供了dbt 的adapter 利用了dbt 自定义物化的macro 实现一些资源的创建 目前提供的能力 支持integration predictor table 参考使用 一个简单示例 {{ config( materialized='integration', engine=' 阅读全文

posted @ 2025-02-22 08:00 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

通过plpython 扩展解决pg 调用c library 的问题
摘要：属于一个简单的业务问题，需要调用一个c 库，希望用sql 去处理，使用上就比较简单，不想自己遍历数据然后再调用c 库，因为系统使用的pg ，所以想着用pg 包装c 库为一个函数 解决方法 将c 库包装为一个独立的扩展，扩展集成了c 中的方法，然后就可以使用sql 处理了 通过plpython 扩展， 阅读全文

posted @ 2025-02-21 08:04 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

1 2 3 4 5 ··· 190 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示