随笔分类 -  Python

上一页 1 2 3 4 5 6 7 下一页

LitServe 快速部署类openai 接口服务
摘要：以前简单说明过LitServe 支持openai 接口格式的服务api，以下是一个简单试用 参考代码 app.py import litserve as ls class SimpleLitAPI(ls.LitAPI): def setup(self, device): self.model = N 阅读全文

posted @ 2024-11-08 08:00 荣锋亮 阅读(72) 评论(0) 推荐(0) 编辑

anyio 高级异步并发网络库
摘要：anyio 是一个异步网络以及并发库，可以与asyncio 以及trio 工作，实现了类似trio 的sc 模式 包含的特性 任务组能力 高级tcp/udp，以及unix 套接字支持 多种字节流以及对象流api 支持 内部任务同步以及通信支持（锁、条件、事件、信号量、对象流） 工作者线程支持 子进程 阅读全文

posted @ 2024-11-06 08:00 荣锋亮 阅读(144) 评论(0) 推荐(0) 编辑

rq job timeout 配置简单说明
摘要：默认rq 是180s 的超时处理，但是我们可以自己调整，注意官方有好几个参数，timeout 以及job_timeout 应该使用job_timeout 参考配置 job 级别的 q.enqueue(mytask, args=(foo,), kwargs={'bar': qux}, job_time 阅读全文

posted @ 2024-11-01 08:00 荣锋亮 阅读(23) 评论(0) 推荐(0) 编辑

cloudpathlib 简单试用
摘要：通过minio 作为s3 存储进行测试 s3 准备 docker-compose version: "3" services: s3: image: minio/minio:latest ports: - 9000:9000 - 9001:9001 command: server /data --c 阅读全文

posted @ 2024-10-29 08:00 荣锋亮 阅读(19) 评论(0) 推荐(0) 编辑

cloudpathlib 面向云存储的python pathlib 风格的数据处理
摘要：cloudpathlib 是模仿了python pathlib 接口格式的python 库，可以用来方便的进行云存储的数据处理 包含的特性 与path 方式类似的访问 支持s3，gcs，azure ，ftp 也在开发中 可扩展 读写支持 无缝的cache 支持，可以按需进行cache 的处理 方便测 阅读全文

posted @ 2024-10-28 08:00 荣锋亮 阅读(16) 评论(0) 推荐(0) 编辑

stamina 生产级的python 重试包
摘要：stamina 是基于tenacity的包装 包含的特性 仅对某些异常（甚至是其中的子集）进行重试，方法是先使用谓词进行自检 重试之间带有抖动的指数退避 限制重试次数和总时间 自动异步支持-包括Trio 保留所装饰的可调用函数的类型提示 开箱即用，可灵活使用Prometheus、structlog和 阅读全文

posted @ 2024-10-27 08:00 荣锋亮 阅读(14) 评论(0) 推荐(0) 编辑

python通过__init__.py 进行模块依赖包的check
摘要：很多时候我们开发模块化项目，或者动态加载功能包的项目，对于依赖我们不希望直接在安装的时候就安装，而是按需使用 的时候进行主动安装（比如langchain 不少模块），解决方法很多，以下说明下基于__init__.py 的处理 一些参考解决方法 在调用模块方法的时候通过显示的import 模块，并通过 阅读全文

posted @ 2024-10-26 00:22 荣锋亮 阅读(23) 评论(0) 推荐(0) 编辑

weasyprint 基于html 的pdf 生成框架
摘要：weasyprint 基于html 的pdf 生成框架，我们可以基于css+ html 生成高质量的pdf 文件，weasyprint 使用简单 说明 weasyprint 的速度并不是很快，如果希望快速生成pdf文件的，可以选择其他解决方案，md2pdf 就使用了WeasyPrint只是为了支持灵 阅读全文

posted @ 2024-10-25 08:00 荣锋亮 阅读(114) 评论(0) 推荐(0) 编辑

通过rye 进行maturin rust python 扩展开发
摘要：rye 实际上也是一个python 包管理工具，实际上与uv 是比较类似的工具，都是同一个团队开发的，但是uv 相对晚一些出现的 rye 可以进行maturin 项目的开发，maturin 实际上也提供了内置的cli 可以快速开发 maturin 项目初始化 命令 rye init my-proje 阅读全文

posted @ 2024-10-24 08:00 荣锋亮 阅读(37) 评论(0) 推荐(0) 编辑

uv python 版本管理
摘要：最近版本的uv 也支持对于python 版本的管理（下载安装，支持cpython 以及pypy） 安装python 参考命令 uv python install 3.12.3 查看列表 uv python list 查找python 执行程序 uv python find # 默认是基于path的， 阅读全文

posted @ 2024-10-23 08:00 荣锋亮 阅读(789) 评论(0) 推荐(0) 编辑

基于uv 进行类似cargo 的workspace 管理
摘要：uv 支持类似cargo workspace模式的项目管理，可以实现多模块的开发机制，以下是一个简单学习 准备 uv 对于workspac 的支持，使用上类似rust cargo 项目结构 ├── README.md ├── packages │ ├── api │ │ ├── README.md 阅读全文

posted @ 2024-10-22 08:00 荣锋亮 阅读(61) 评论(0) 推荐(0) 编辑

uv 基于rust 编写的python 包管理以及项目管理工具
摘要：uv 基于rust 编写的python 包管理以及项目管理工具 包含的特性 简单工具可以替换pip，pip-tools，pipx，poetry，pyenv 等 比pip 快10-100 倍 安装以及管理python 版本 运行以及安装python 应用 运行脚本 支持类似cargo 模式的works 阅读全文

posted @ 2024-10-21 08:00 荣锋亮 阅读(118) 评论(0) 推荐(0) 编辑

pyfilesystem 一个简单试用
摘要：以前简单介绍过关于pyfilesystem 支持通用的文件系统访问，同时还提供了不少内部实现，可以快速使用，以下是一个关于 UserDataFS的简单试用 参考代码 app.py from fs.appfs import UserDataFS user_fs = UserDataFS('my_app 阅读全文

posted @ 2024-10-19 08:00 荣锋亮 阅读(12) 评论(0) 推荐(0) 编辑

pyfilesystem jinja2 loader 实现prompt-poet 提示词模板管理
摘要：效果实际与fsspec jinaj2 laoder类似，就是一个集成测试 pyfilesystem loader 实现 pyfs_loader.py import fs import jinja2 from jinja2.loaders import BaseLoader class PyFiles 阅读全文

posted @ 2024-10-18 06:29 荣锋亮 阅读(30) 评论(0) 推荐(0) 编辑

pyfilesystem python 通用文件系统抽象
摘要：pyfilesystem python 通用文件系统抽象包，对于统一基于文件的数据操作比较方便 目前一些内置的文件系统 app 文件系统 ftp 文件系统 memory 文件 mount 文件系统 multi 文件系统 os 文件系统 sub 文件系统 tar 文件系统 temporary 文件系统 阅读全文

posted @ 2024-10-17 06:12 荣锋亮 阅读(31) 评论(0) 推荐(0) 编辑

python 几个IOC 框架
摘要：整理几个不错的python ioc 框架，方便学习使用 python-dependency-injector 功能很全，很强大，支持的特性比较多，属于比较全面的ioc 框架了 lagom 一个轻量的ioc 框架，常见玩法够用 FastDepends 这个实际上是来自fastapi 提取的一个ioc 阅读全文

posted @ 2024-10-08 06:47 荣锋亮 阅读(151) 评论(0) 推荐(0) 编辑

python rq 实际部署使用简单说明
摘要：python 的rq 是一个简单，使用方便的分布式任务队列库，以下是自己关于实际使用一些总结 参考玩法 参考图 简单玩法流程: app 业务层使用rq 库，链接redis，然后将任务如队列，同时可以结合实际业务对于队列使用不同的名称（比如高中低，或者特定业务模型） 对于实际结合业务特点在不同的业务节 阅读全文

posted @ 2024-10-06 00:02 荣锋亮 阅读(77) 评论(0) 推荐(0) 编辑

kedro ossfs 支持说明
摘要：kedro 是基于fsspec 进行内部文件处理的，但是在对于是cloud remote 文件系统的时候是基于白名单处理的有缺陷，对于oss 支持就有问题（比如解析bucket），解决方法很多，一种是直接修改kedro.io.core 中的CLOUD_PROTOCOLS，还有一种就是通过python 阅读全文

posted @ 2024-10-05 06:27 荣锋亮 阅读(7) 评论(0) 推荐(0) 编辑

lazy_loader attach_stub一种变体玩法
摘要：此方法在scikit-image包中可以明显看到使用 玩法流程 __init__.py直接基于attach_stub 进行定义懒加载，以后的使用就同时标准玩法了 添加__init__.pyi 进行显示的引入定义，方便实现类型检查以及ide 的自动提示 一个参考玩法 __init__.py 定义 im 阅读全文

posted @ 2024-10-04 08:00 荣锋亮 阅读(9) 评论(0) 推荐(0) 编辑

lazy_loader python 子包以及函数懒加载框架
摘要：lazy_loader python 子包以及函数懒加载框架, 内部处理上是基于了importlib.import_module 进行动态加载 包含的特性 可以确保子模块对于用户的可见行，不引起而外的开销 允许外部库在使用的时候被加载，提升导入时间 说明 此包在kedro 的datasets 模块中 阅读全文

posted @ 2024-10-03 08:00 荣锋亮 阅读(57) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 7 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示