摘要：整理几个不错的python ioc 框架，方便学习使用 python-dependency-injector 功能很全，很强大，支持的特性比较多，属于比较全面的ioc 框架了 lagom 一个轻量的ioc 框架，常见玩法够用 FastDepends 这个实际上是来自fastapi 提取的一个ioc 阅读全文

摘要：以前简单介绍过基于faststream + python rq callback 进行job 状态标记，以下是结合源码说明下处理 参考玩法 代码实现 faststream 参考代码 from faststream.redis import RedisBroker from faststream.as 阅读全文

摘要：python 的rq 是一个简单，使用方便的分布式任务队列库，以下是自己关于实际使用一些总结 参考玩法 参考图 简单玩法流程: app 业务层使用rq 库，链接redis，然后将任务如队列，同时可以结合实际业务对于队列使用不同的名称（比如高中低，或者特定业务模型） 对于实际结合业务特点在不同的业务节 阅读全文

摘要：kedro 是基于fsspec 进行内部文件处理的，但是在对于是cloud remote 文件系统的时候是基于白名单处理的有缺陷，对于oss 支持就有问题（比如解析bucket），解决方法很多，一种是直接修改kedro.io.core 中的CLOUD_PROTOCOLS，还有一种就是通过python 阅读全文

摘要：dremio 从25.1 版本开始，支持sql 预编译了，可以更好的提升系统的安全性 参考使用 传统jdbc 模式 Connection conn = DriverManager.getConnection("jdbc:dremio:direct=localhost:31010;schema=sys 阅读全文

摘要：此方法在scikit-image包中可以明显看到使用 玩法流程 __init__.py直接基于attach_stub 进行定义懒加载，以后的使用就同时标准玩法了 添加__init__.pyi 进行显示的引入定义，方便实现类型检查以及ide 的自动提示 一个参考玩法 __init__.py 定义 im 阅读全文

摘要：就在昨天dremio 发布了25.1.1 主要是一些bug 的fix，尤其是在25.1 版本对于script 保存的问题 说明 完整的变动信息可以参考官方文档，目前oss 代码以及下载包，docker 镜像已经都上传了，可以体验下 参考资料 https://docs.dremio.com/curre 阅读全文

摘要：lazy_loader python 子包以及函数懒加载框架, 内部处理上是基于了importlib.import_module 进行动态加载 包含的特性 可以确保子模块对于用户的可见行，不引起而外的开销 允许外部库在使用的时候被加载，提升导入时间 说明 此包在kedro 的datasets 模块中 阅读全文

摘要：dynaconf python 配置管理库 包含的特性 基于12 factor 原则 设置管理（默认值、校验、解析、模版） 保护敏感信息（比如用户密码） 多文件格式支持（toml,yaml, ini，json，py） 支持环境变量重写 可选的分层多环境配置支持 支持外部配置存储（vault，redi 阅读全文

摘要：IncrementalDataset 实现了一种增量数据处理的能力，基于了PartitionedDataset 同时包含了checkpoint 确保数据处理的准确性，对于 checkpoint 可以配置自己的函数 参考定义 参考catalog 定义 my_partitioned_dataset: t 阅读全文

摘要：kedro 的PartitionedDataset是一个比较强大的数据集处理模块，支持数据的分片加载以及分片写入能力，以下简单说明下 数据分片读取能力 参考catalog 配置 companies: type: partitions.PartitionedDataset path: s3://ked 阅读全文

摘要：主要是一个简单的功能体验，包含了include 以及简单的jinja2 逻辑判断 模版定义 app.yaml.j2 {% include 'system_instruction.yml.j2' %} - name: system demo role: system content: | you ar 阅读全文

摘要：rpyc 属于一个老牌项目了，支持rpc 模式的处理，同时支持面向服务的开发模式，包含了一些安全控制，支持服务注册，服务发现 包含的特性 透明，可以使用类似本地模式的方法访问 对称，client 以及server 都可以支持调用 支持同步以及异步操作 平台无关 低开销 安全，支持基于tls，以及ss 阅读全文

摘要：prompt-poet 方便设计提示词的python 包，基于yaml 以及jinja2 开发，prompt-poet 提供了灵活、动态的提示词创建prompt-poet 饿的提示词模版混合了yaml 以及jinja2 prompt-poet 模版处理 渲染，初始阶段基于了jinja2，此阶段进行数 阅读全文

摘要：主要是一个简单演示，基于petl remote source 能力，实现本地csv 数据读取之后写入远端oss 中 参考代码 注意需要明确使用remote source，petl 在处理上不像pandas 等类似框架可以直接基于文件系统的protocol 自动进行底层文件系统的选择 安装依赖 pip 阅读全文

摘要：dremio 25.1 已经发布了好几个礼拜了，以前说过github 社区版25.1 版本的没有提交最新的，最近看了下github 已经提交新的了 而且这次应该是比较完整的 构建上的一些问题 jdk 依赖 这个保持不变，同时看官方一些信息对于maven 构建已经调整了，有了不错的支持 ui 组件 目 阅读全文

摘要：petl 轻量级通用的python etl 处理框架 petl 目的 petl 目的是简单，性能上以及对于处理大数据集可能不是很适合，就是需要使用dask，pandas 等这类的 etl 能力 基于了延迟计算的能力 函数以及面向对象的编程方式 交互式使用 可以集成Ipython notebook c 阅读全文

摘要：对于llamafile 大家可能都听说过，最近llamafile 提供了基于whisper.cpp 的whisperfile ，我们可以快速使用 whisperfile 进行翻译处理 参考使用 下载whisperfile 以及模型 whisperfile 可以直接从github 下载 模型地址: h 阅读全文

摘要：尽管oss 对于s3 客户端具有兼容性，直接通过s3fs 是可以直接访问oss 的，但是有不少缺陷（比如ls 的支持就有问题）ossfs 是基于oss client 实现的标准 fsspec 扩展，使用上很不错，对于文件系统常见操作支持的很好，以下是一个简单使用说明 参考使用 安装 pip inst 阅读全文

摘要：kedro package 会将开发的data pipeline 项目构建为一个标准的python whl 格式包（build 模块），之后我们就可以直接基于项目模块运行开发的pipeline 了，以下简单说明下内部处理 项目结构 为了将kedro pipeline 项目提供为一个可以通过模块直接运 阅读全文