随笔分类 -  云运维&&云架构

上一页 1 ··· 5 6 7 8 9 10 11 12 13 ··· 190 下一页

pyfilesystem 一个简单试用
摘要：以前简单介绍过关于pyfilesystem 支持通用的文件系统访问，同时还提供了不少内部实现，可以快速使用，以下是一个关于 UserDataFS的简单试用 参考代码 app.py from fs.appfs import UserDataFS user_fs = UserDataFS('my_app 阅读全文

posted @ 2024-10-19 08:00 荣锋亮 阅读(12) 评论(0) 推荐(0) 编辑

pyfilesystem jinja2 loader 实现prompt-poet 提示词模板管理
摘要：效果实际与fsspec jinaj2 laoder类似，就是一个集成测试 pyfilesystem loader 实现 pyfs_loader.py import fs import jinja2 from jinja2.loaders import BaseLoader class PyFiles 阅读全文

posted @ 2024-10-18 06:29 荣锋亮 阅读(30) 评论(0) 推荐(0) 编辑

pyfilesystem python 通用文件系统抽象
摘要：pyfilesystem python 通用文件系统抽象包，对于统一基于文件的数据操作比较方便 目前一些内置的文件系统 app 文件系统 ftp 文件系统 memory 文件 mount 文件系统 multi 文件系统 os 文件系统 sub 文件系统 tar 文件系统 temporary 文件系统 阅读全文

posted @ 2024-10-17 06:12 荣锋亮 阅读(31) 评论(0) 推荐(0) 编辑

md2pdf python markdown 转pdf 包简单试用
摘要：md2pdf 是基于weasyprint 开发的一个markdown 转pdf 工具，功能上还是比较强大的，支持自定义效果，同时还支持基于jinja2 模版引擎的数据处理，在基本的转换完成之后内部会使用weasyprint 基于html 转换pdf 参考使用 安装 pip install git+h 阅读全文

posted @ 2024-10-16 05:56 荣锋亮 阅读(242) 评论(0) 推荐(0) 编辑

fsspec jinaj2 loader 简单说明
摘要：为了方便使用，我简单提取了jinja2 fspsec loader 的代码，开发成为一个pip 包，方便使用 代码 fsspec_loader.py from __future__ import annotations import pathlib from typing import TYPE_C 阅读全文

posted @ 2024-10-15 06:57 荣锋亮 阅读(12) 评论(0) 推荐(0) 编辑

自定义jinja2 loader 实现基于oss的prompt-poet 提示词模板存储
摘要：prompt-poet 默认支持的是基于本地文件系统或者直接模版内容的模式进行处理，对于实际使用上并不是很方便，可以通过简单的扩展jinja2 loader 实现基于fsspec 的模版加载，这么就可以支持各类存储的模型了，以下是一个简单示例，因为目前prompt-poet 内部处理是固定的，暂时只 阅读全文

posted @ 2024-10-14 06:40 荣锋亮 阅读(37) 评论(0) 推荐(0) 编辑

chainlit 实际部署一些问题
摘要：chainlit内部基于了socket.io 进行消息处理，socket.io 是有一些缺陷的，但是也有相关的解决方法，同时 对于启动的入口是加载的一个python 文件，这个处理上是动态加载里边的方法到chainlit 运行环境的 内部一些处理 load 模块处理 def load_module( 阅读全文

posted @ 2024-10-13 07:43 荣锋亮 阅读(179) 评论(0) 推荐(0) 编辑

fasthtml 快速创建web app 的框架
摘要：fasthtml 让我们可以基于python 代码就可以快速开发web app 的框架，使用上简单 说明 fasthtml 包含了丰富的组件，内部web 框架基于了starlette 与fastapi 是一样的，fasthtml 值得尝试下 参考资料 https://github.com/Answe 阅读全文

posted @ 2024-10-12 06:08 荣锋亮 阅读(357) 评论(0) 推荐(0) 编辑

chainlit 一些外部集成部署方法
摘要：chainlit 对于部署支持多种模式，比如直接all-in-one 的，基于fastapi 集成的（api 模式），基于copilot （web 地址 ），react （web 组件），以及其他外部集成，比如slack，team，discord 等，以下简单说明下 模式说明 web app 模式 阅读全文

posted @ 2024-10-11 07:20 荣锋亮 阅读(192) 评论(0) 推荐(0) 编辑

fastapi 通过依赖注入模式使用apscheduler
摘要：就是一个简单记录，方便后续使用 参考代码 api 服务 import uuid from fastapi import FastAPI,Header,Depends,HTTPException from typing import Annotated async def tenant_id(x_te 阅读全文

posted @ 2024-10-10 06:42 荣锋亮 阅读(58) 评论(0) 推荐(0) 编辑

fastapi apscheduler 通过函数引用添加job
摘要：主要是一个简单测试，同时集成fastapi，包含了简单参数传递 参考代码 import logging import uuid from fastapi import FastAPI from pytz import utc from apscheduler.schedulers.backgroun 阅读全文

posted @ 2024-10-09 06:35 荣锋亮 阅读(21) 评论(0) 推荐(0) 编辑

python 几个IOC 框架
摘要：整理几个不错的python ioc 框架，方便学习使用 python-dependency-injector 功能很全，很强大，支持的特性比较多，属于比较全面的ioc 框架了 lagom 一个轻量的ioc 框架，常见玩法够用 FastDepends 这个实际上是来自fastapi 提取的一个ioc 阅读全文

posted @ 2024-10-08 06:47 荣锋亮 阅读(151) 评论(0) 推荐(0) 编辑

关于结合faststream + python rq callback 进行job 状态标记的简单说明
摘要：以前简单介绍过基于faststream + python rq callback 进行job 状态标记，以下是结合源码说明下处理 参考玩法 代码实现 faststream 参考代码 from faststream.redis import RedisBroker from faststream.as 阅读全文

posted @ 2024-10-07 06:41 荣锋亮 阅读(20) 评论(0) 推荐(0) 编辑

python rq 实际部署使用简单说明
摘要：python 的rq 是一个简单，使用方便的分布式任务队列库，以下是自己关于实际使用一些总结 参考玩法 参考图 简单玩法流程: app 业务层使用rq 库，链接redis，然后将任务如队列，同时可以结合实际业务对于队列使用不同的名称（比如高中低，或者特定业务模型） 对于实际结合业务特点在不同的业务节 阅读全文

posted @ 2024-10-06 00:02 荣锋亮 阅读(77) 评论(0) 推荐(0) 编辑

kedro ossfs 支持说明
摘要：kedro 是基于fsspec 进行内部文件处理的，但是在对于是cloud remote 文件系统的时候是基于白名单处理的有缺陷，对于oss 支持就有问题（比如解析bucket），解决方法很多，一种是直接修改kedro.io.core 中的CLOUD_PROTOCOLS，还有一种就是通过python 阅读全文

posted @ 2024-10-05 06:27 荣锋亮 阅读(7) 评论(0) 推荐(0) 编辑

dremio 25.1 版本开始支持sql 预编译处理了
摘要：dremio 从25.1 版本开始，支持sql 预编译了，可以更好的提升系统的安全性 参考使用 传统jdbc 模式 Connection conn = DriverManager.getConnection("jdbc:dremio:direct=localhost:31010;schema=sys 阅读全文

posted @ 2024-10-04 14:24 荣锋亮 阅读(25) 评论(0) 推荐(0) 编辑

lazy_loader attach_stub一种变体玩法
摘要：此方法在scikit-image包中可以明显看到使用 玩法流程 __init__.py直接基于attach_stub 进行定义懒加载，以后的使用就同时标准玩法了 添加__init__.pyi 进行显示的引入定义，方便实现类型检查以及ide 的自动提示 一个参考玩法 __init__.py 定义 im 阅读全文

posted @ 2024-10-04 08:00 荣锋亮 阅读(9) 评论(0) 推荐(0) 编辑

dremio25.1.1 发布
摘要：就在昨天dremio 发布了25.1.1 主要是一些bug 的fix，尤其是在25.1 版本对于script 保存的问题 说明 完整的变动信息可以参考官方文档，目前oss 代码以及下载包，docker 镜像已经都上传了，可以体验下 参考资料 https://docs.dremio.com/curre 阅读全文

posted @ 2024-10-03 12:56 荣锋亮 阅读(17) 评论(0) 推荐(0) 编辑

lazy_loader python 子包以及函数懒加载框架
摘要：lazy_loader python 子包以及函数懒加载框架, 内部处理上是基于了importlib.import_module 进行动态加载 包含的特性 可以确保子模块对于用户的可见行，不引起而外的开销 允许外部库在使用的时候被加载，提升导入时间 说明 此包在kedro 的datasets 模块中 阅读全文

posted @ 2024-10-03 08:00 荣锋亮 阅读(57) 评论(0) 推荐(0) 编辑

dynaconf python 配置管理库
摘要：dynaconf python 配置管理库 包含的特性 基于12 factor 原则 设置管理（默认值、校验、解析、模版） 保护敏感信息（比如用户密码） 多文件格式支持（toml,yaml, ini，json，py） 支持环境变量重写 可选的分层多环境配置支持 支持外部配置存储（vault，redi 阅读全文

posted @ 2024-10-02 07:24 荣锋亮 阅读(45) 评论(0) 推荐(0) 编辑

上一页 1 ··· 5 6 7 8 9 10 11 12 13 ··· 190 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示