荣锋亮 - 博客园

lancedb 使用minio s3 作为存储

摘要： lancedb 是一个灵活高效的向量数据库，提供了方便的存储模式支持（本地以及对象存储的）以下是关于集成minio s3 的一个简单示例代码 s3-lance.py import lancedb from lancedb.pydantic import LanceModel, Vector # 注阅读全文

posted @ 2025-03-30 08:00 荣锋亮阅读(1) 评论(0) 推荐(0) 编辑

集成PyTables + pandas + duckdb 进行数据查询

摘要：以前简单说明过PyTables，同时pandas 直接支持基于此包的hdf5操作，实际上我们可以将几个集成起来参考玩法如下图，基于PyTables的table 格式写入数据到hdf5中，然后通过pandas 加载为dataframes，之后通过duckdb 直接进行查询可以实现灵活的数据写入，阅读全文

posted @ 2025-03-29 08:09 荣锋亮阅读(3) 评论(0) 推荐(0) 编辑

flight-sql-js-client 又一个flight-sql-js client

摘要： flight-sql-js-client 是基于node+ grpc 编写的一个flight-sql-js client，实际上还有一个flight-sql-client-node 基于napi-rs 开发的说明目前测试集成dremio的flight sql 没有成功，后边分析下原因，目前基于a 阅读全文

posted @ 2025-03-29 08:00 荣锋亮阅读(2) 评论(0) 推荐(0) 编辑

atomic-agents 原子化agent 框架

摘要： atomic-agents 提出了自己的的原子化agent 开发方案，尝试去解决传统agent 框架的一些问题包含的特点模块化，支持通过小以及可重用的组件解决ai 应用问题可预测，基于清晰的输入以及输出schema，确保一致性的行为可扩展，可以方便的进行集成，而不对于整个系统造成影响可控制阅读全文

posted @ 2025-03-28 08:00 荣锋亮阅读(5) 评论(0) 推荐(0) 编辑

flet 简单试用

摘要：主要是基于官方文档对于flet进行一个简单试用环境准备推荐基于虚拟环境准备 python -m venv venv source venv/bin/activate 安装flet 依赖 pip install flet 创建简单项目 flet create . 效果启动 flet run 效阅读全文

posted @ 2025-03-27 08:00 荣锋亮阅读(8) 评论(0) 推荐(0) 编辑

flet 基于python的跨平台应用开发框架

摘要： flet是一个语言无关的跨平台开发框架，当前支持python，内部基于了flutter 包含的特性快发快速简单架构包含了丰富的组建基于flutter 语言无关，当前已经支持的是python，当然其他语言也是支持的跨平台，跨设备部署说明 flet 项目挺有意思的，值得研究学习下，后边介绍下阅读全文

posted @ 2025-03-26 08:00 荣锋亮阅读(4) 评论(0) 推荐(0) 编辑

ape-dts 基于rust 的数据同步工具

摘要： ape-dts 是基于rust 开发的数据同步工具，提供了不少数据库同步的支持，以及不同模式包含的特性支持各类数据库，包含了异构以及同构类型的支持快照以及cdc的任务，可以从断点恢复支持检查以及查看数据支持数据库，表，列级别的过滤支持不同的并行算法可以提升性能支持基于lua 脚本的ud 阅读全文

posted @ 2025-03-25 08:00 荣锋亮阅读(7) 评论(0) 推荐(0) 编辑

jug 的屏障机制

摘要：很多时候我们对于任务依赖的数据进行控制，比如任务依赖上一个计算，但是实际计算比较慢如下代码,实际执行就会有问题 from jug import Task inputs = load_data() def keep(datum): # A long running computation which 阅读全文

posted @ 2025-03-24 08:00 荣锋亮阅读(7) 评论(0) 推荐(0) 编辑

jug 任务构造简单说明

摘要： jug 是基于任务进行并行化的，官方提供了一些构造任务的建议建议任务应该在一些秒内就可以运行，同时应该有足够的任务确保处理器没有空闲任务标识 jug 基于hash 为每个任务构建唯一标识符，但是有一些缺陷如果参数上过长，可能hash 比较耗时 jug 可能不确定参数如何处理任务参数可能等价阅读全文

posted @ 2025-03-23 08:00 荣锋亮阅读(6) 评论(0) 推荐(0) 编辑

jug 支持的数据类型

摘要：理论上jug 支持各类只要是可以pickle的数据类型，但是在实际使用中，推荐简单化，这样可以减少通信开销一个案例原始 from glob import glob from mahotas import imread def process(img): # complex image proce 阅读全文

posted @ 2025-03-22 08:00 荣锋亮阅读(2) 评论(0) 推荐(0) 编辑

jug 提前退出配置简单说明

摘要： jug 支持一些参数，可以对于执行尽早退出，以下是一些参数说明配置运行最大时间包含了JUG_MAX_HOURS，JUG_MAX_MINUTES，JUG_MAX_SECONDS 等变量代码配置模式 from jug.hooks.exit_checks import exit_after_time 阅读全文

posted @ 2025-03-21 08:00 荣锋亮阅读(3) 评论(0) 推荐(0) 编辑

jug 简单使用

摘要： jug 提供了cli 命令可以方便的进行任务执行以及监控，以下是关于多实例运行的一个示例任务开发就是一个计算平方的 tasks.py from jug import TaskGenerator import time @TaskGenerator def slow_task(i): time.s 阅读全文

posted @ 2025-03-20 08:00 荣锋亮阅读(7) 评论(0) 推荐(0) 编辑

jug python 并行编程包

摘要： jug python 并行编程包，目前内部包含了二类backend，基于文件的，以及基于redis 的，当然还有一种基于内存的包含的特点任务分布式处理：可以在多个 CPU 核心或多个机器之间分配任务。基于文件的任务存储：通过文件系统保存任务状态和结果，确保任务的幂等性。易于集成：任务以 Py 阅读全文

posted @ 2025-03-19 08:00 荣锋亮阅读(5) 评论(0) 推荐(0) 编辑

markitdown微软开源的文档转markdown 工具包

摘要： markitdown微软开源的文档转markdown 工具包，支持各类文档的处理支持的格式 pdf，offiice 文档，图片，html，音频，基于文本的格式，zip文件等说明目前测试效果上还可以，但是对于一些文档的效果并不是特别好，对于pdf 文档的，比较推荐的是基于pymupdf 这个包阅读全文

posted @ 2025-03-18 08:00 荣锋亮阅读(29) 评论(0) 推荐(0) 编辑

PyMuPDF 就有mupdf 的python pdf 包

摘要： pymupdf 是基于mupdf 的python pdf 处理包，相比其他python pdf 包提供了不少特性包含的特性支持的pdf 操作模式比较多支持较多的文档类型（但是部分是需要收费的）高性能对于面向llm 应用开发处理支持比较好（基于pymupdf4llm 扩展）说明对于面向文阅读全文

posted @ 2025-03-17 08:00 荣锋亮阅读(11) 评论(0) 推荐(0) 编辑

winsw tomcat windows 服务启动简单说明

摘要：很早以前我简单介绍过基于winsw 的nginx 服务启动处理，以下简单说明下tomcat 处理的 app配置配置JAVA_HOME 以及CATALINA_HOME app.xml <service> <id>tomcat</id> <name>tomcat</name> <description 阅读全文

posted @ 2025-03-16 08:00 荣锋亮阅读(1) 评论(0) 推荐(0) 编辑

myduckserver 基于duckdb的分析服务

摘要： myduckserver 基于duckdb的分析服务，基于mysql 以及pg 协议进行dduckdb 得到访问包含的特性基于duckdb 的快速olap 分析 mysql 兼容接口 pg 兼容接口 duckdb 强大能力 zero-etl 支持订阅以及实时复制 htap 架构支持批量上传以及阅读全文

posted @ 2025-03-15 08:00 荣锋亮阅读(18) 评论(0) 推荐(0) 编辑

zenoh 1.1.0 的一些更新以及新功能

摘要： api 层面 liveliness 功能，目前还标记为不稳定新的querier api 添加高级发布以及订阅api 的扩展，提升系统的容错能力 zenoh-pico 新的手工批处理api 提升吞吐添加liveliness支持支持raspberry pi Ros2 bridge 更好的支持ro 阅读全文

posted @ 2025-03-14 08:00 荣锋亮阅读(9) 评论(0) 推荐(0) 编辑

sermant 基于java 字节码增强的云原生无代理服务网络框架

摘要： sermant 基于java 字节码增强的云原生无代理服务网络框架包含的特性非侵入，基于java 字节码可以实现零侵入的服务治理插件化，功能插件化，支持动态挂在，开发方便高性能，无代理架构无需跨进程通信，降低请求时延以及资源占用参考架构说明 sermant 是一个cncf 沙箱项目，还是阅读全文

posted @ 2025-03-13 08:00 荣锋亮阅读(5) 评论(0) 推荐(0) 编辑

JayDeBeApi python 通过java jdbc 访问数据库的包

摘要： JayDeBeApi 是一个python 包基于JPyte 可以实现利用db-api 2.0 协议访问支持jdbc 访问的数据库一个简单使用示例 sql.py import jaydebeapi conn = jaydebeapi.connect("org.hsqldb.jdbcDriver", 阅读全文

posted @ 2025-03-12 08:00 荣锋亮阅读(13) 评论(0) 推荐(0) 编辑

kiwipy rpc模式简单试用

摘要：主要是对于功能的一个体验，测试几个功能 rpc模式代码注意依赖了amqp协议，需要先部署服务 rabbitmq 服务 services: rabbitmq: image: rabbitmq:3-management ports: - "5672:5672" - "15672:15672" envi 阅读全文

posted @ 2025-03-11 08:00 荣锋亮阅读(2) 评论(0) 推荐(0) 编辑

kiwipy 方便开发rpc&任务队列&广播的python消息库

摘要： kiwipy 方便开发rpc&任务队列&广播的python消息库，目前主要应用在aiidateam 项目中包含的特性每秒1000次的消息处理高强健，不会在连接异常的时候丢失消息原生支持rabbitmq 接口支持任务队列，广播，rpc 支持线程以及协程模式的连接支持python 3.7+ 阅读全文

posted @ 2025-03-10 08:00 荣锋亮阅读(7) 评论(0) 推荐(0) 编辑

kombu transport 查找的处理

摘要：简单说明下kombu transport查找的处理，方便学习自定义broker的处理 Connection 处理 def __init__(self, hostname='localhost', userid=None, password=None, virtual_host=None, port= 阅读全文

posted @ 2025-03-09 08:00 荣锋亮阅读(6) 评论(0) 推荐(0) 编辑

celery broker 连接参数简单说明

摘要：简单了解celery broker 连接参数的配置以及内部处理可以有助于更好的使用celery 以及开发自己的broker 支持一个参考broker配置 redis redis://:password@hostname:port/db_number 自定义broker app = Celery( 阅读全文

posted @ 2025-03-08 08:00 荣锋亮阅读(6) 评论(0) 推荐(0) 编辑

celery broker配置格式简单说明

摘要： celery 对于broker实际上是可以支持不少的，只是目前提供了一些简单说明参考格式 redis redis://:password@hostname:port/db_number rabbitmq broker_url = 'amqp://myuser:mypassword@localhos 阅读全文

posted @ 2025-03-08 08:00 荣锋亮阅读(7) 评论(0) 推荐(0) 编辑

honcho Foreman python 实现

摘要： honcho 使用 Foreman的 python实现，可以实现灵活的服务启动管理参考使用比如一个一个celery 启动的创建Procfile文件 woker1: celery -A app worker -l INFO --queues queue1 woker2: celery -A ap 阅读全文

posted @ 2025-03-07 08:00 荣锋亮阅读(9) 评论(0) 推荐(0) 编辑

slatedb 基于对象存储的嵌入式数据库

摘要： slatedb 是基于rust 开发的，数据存储层基于对象存储的嵌入式数据库包含的特性集成对象存储的持久性零磁盘架构（利用对象存储）简单复制（利用对象存储）可调整的性能读缓存支持事物写（规划中，暂未实现）快照隔离（规划中，暂未实现）写隔离，可以阻止僵尸进程的影响插件化的压缩处理阅读全文

posted @ 2025-03-06 08:00 荣锋亮阅读(14) 评论(0) 推荐(0) 编辑

kombu python 的消息库

摘要： kombu 是celery 团队开发的一个python 消息库，基于此库可以方便的进行amqt 语义api 的消息通信包含的特性支持插件化的消息通道机制，比如py-amqt, pyro,mongodb,redis 支持对于消息负载的自动编码，序列化，压缩跨通道的一致异常处理对于连接以及cha 阅读全文

posted @ 2025-03-05 08:00 荣锋亮阅读(6) 评论(0) 推荐(0) 编辑

datachain 简单试用

摘要：主要是一个体验，内容来自官方文档参考代码 app.py from datachain import Column, DataChain meta = DataChain.from_json("gs://datachain-demo/dogs-and-cats/*json", object_name 阅读全文

posted @ 2025-03-04 08:00 荣锋亮阅读(7) 评论(0) 推荐(0) 编辑

datachain ai 友好的python etl以及分析包

摘要： datachain 提供了方便进行多模态ai 数据的etl 以及分析能力使用场景多模态的数据准备以及数据治理生成式ai 数据分析特性多模态数据集版本支持，支持数据以及元数据的统一持久化管理 python 友好，支持并行高效内存计算数据增强以及处理，基于本地ai 模型或者llm api 生阅读全文

posted @ 2025-03-03 08:00 荣锋亮阅读(11) 评论(0) 推荐(0) 编辑

celery signature app instance 创建简单说明

摘要： celery 对于celery 实例的处理比较有意思，没有的会创建默认的，如果定义了会基于python 的threading.local 进行引用，所以我们会看到 celery 一些代码使用上比较有意思（group，chain等，不需要明确指定app 就可以进行任务的创建以及数据获取）一个简单通过阅读全文

posted @ 2025-03-02 08:00 荣锋亮阅读(10) 评论(0) 推荐(0) 编辑

dramatiq python3的快速可靠的分布式任务处理库

摘要： dramatiq 是基于python3开发的分布式任务处理库设计原则高可靠性和高性能简单易懂的核心约定高于配置与其他对比官方提供了一个表还是值得参考的说明以上表很值得参考，后边会介绍下使用参考资料 https://github.com/Bogdanp/dramatiq https: 阅读全文

posted @ 2025-03-01 08:00 荣锋亮阅读(16) 评论(0) 推荐(0) 编辑

celery group job 不同queue的使用

摘要： celery group 的group 可以实现任务并行，实际上对于不同的task 我们还可以配置不同的queue，实现资源的灵活分配，当然对于queue 的worker 节点，我们可以部署在不同的环境中（比如cpu，gpu分离的场景中），这样实现资源的合理使用 task 定义 app.py fro 阅读全文

posted @ 2025-02-28 08:00 荣锋亮阅读(10) 评论(0) 推荐(0) 编辑

perfetto开源系统profiling&应用trace 以及分析工具

摘要： perfetto 是google 开源的系统profiling 以及trace 工具完整能力图如下图，可以看到perfetto提供的维度还是比较全的，而且支持不同操作系统的trace能力说明基于官方提供的可视化ui 工具，可以快速体验perfetto包含的能力，对于性能分析此工具还是值得尝试阅读全文

posted @ 2025-02-27 08:00 荣锋亮阅读(16) 评论(0) 推荐(0) 编辑

通过pyinstaller 打包bottle 应用

摘要： pyinstaller 是一个很不错的python 应用打包工具，灵活简单，以下对于以前一个简单的bottle 使用pyinstaller 打包打包命令代码参考下边的资料参考命令 pyinstaller --add-data "static/*:static" app.py 一些细节因为打包阅读全文

posted @ 2025-02-26 08:00 荣锋亮阅读(8) 评论(0) 推荐(0) 编辑

bottle stream 模式数据返回简单示例

摘要： bottle对于支持迭代以及生成器的方法会使用类似stream 的模式返回数据，以下是一个简单的对于基于ollama 的stream 数据渲染处理示例 bottle 应用 app.py from bottle import route, run, template,static_file from 阅读全文

posted @ 2025-02-25 08:00 荣锋亮阅读(8) 评论(0) 推荐(0) 编辑

bottle python micro 框架

摘要： bottle是一个 python micro 框架，轻量简单包含的特性基于函数简单，动态路由内置模版引擎，同时还支持jinja2，mako，cheetah 等模版引擎内置灵活的工具类，的对于表单，文件，cookies，headers 处理 server 支持，支持适配兼容的wsgi 协议说阅读全文

posted @ 2025-02-24 08:00 荣锋亮阅读(8) 评论(0) 推荐(0) 编辑

Eel 基于python+浏览器的开发类似electron 应用

摘要： Eel 是基于基于python 可以方便开发基于浏览器的桌面应用，内部eel 可以通过@eel.expose 实现js 与python 代码的互通信包含的特点使用简单支持js 与python 代码的互相调用支持回掉以及同步处理，当然还支持python 的异步处理提供了基于pyinstall 阅读全文

posted @ 2025-02-23 08:00 荣锋亮阅读(33) 评论(0) 推荐(0) 编辑

mindsdb dbt 扩展简单说明

摘要： mindsdb 提供了dbt 的adapter 利用了dbt 自定义物化的macro 实现一些资源的创建目前提供的能力支持integration predictor table 参考使用一个简单示例 {{ config( materialized='integration', engine=' 阅读全文

posted @ 2025-02-22 08:00 荣锋亮阅读(8) 评论(0) 推荐(0) 编辑

通过plpython 扩展解决pg 调用c library 的问题

摘要：属于一个简单的业务问题，需要调用一个c 库，希望用sql 去处理，使用上就比较简单，不想自己遍历数据然后再调用c 库，因为系统使用的pg ，所以想着用pg 包装c 库为一个函数解决方法将c 库包装为一个独立的扩展，扩展集成了c 中的方法，然后就可以使用sql 处理了通过plpython 扩展，阅读全文

posted @ 2025-02-21 08:04 荣锋亮阅读(5) 评论(0) 推荐(0) 编辑

导航

公告