上一页 1 2 3 4 5 6 7 8 9 ··· 127 下一页

2024年10月21日

uv 基于rust 编写的python 包管理以及项目管理工具

摘要： uv 基于rust 编写的python 包管理以及项目管理工具 包含的特性 简单工具可以替换pip，pip-tools，pipx，poetry，pyenv 等 比pip 快10-100 倍 安装以及管理python 版本 运行以及安装python 应用 运行脚本 支持类似cargo 模式的works 阅读全文

posted @ 2024-10-21 08:00 荣锋亮 阅读(118) 评论(0) 推荐(0) 编辑

2024年10月20日

基于prompt-poet进行了灵活的提示词模版管理

摘要： 以前简单介绍过prompt-poet的使用，同时也进行了一些扩展（比如支持s3，oss，等加载的loader 集成） 实际上使用好prompt-poet 可以简化不少我们的提示词管理能力，实现灵活的个性化提示词能力，以下是一个简单的 使用说明 参考结构管理 prompt-poet 默认支持加载本地文 阅读全文

posted @ 2024-10-20 08:00 荣锋亮 阅读(54) 评论(0) 推荐(0) 编辑

2024年10月19日

pyfilesystem 一个简单试用

摘要： 以前简单介绍过关于pyfilesystem 支持通用的文件系统访问，同时还提供了不少内部实现，可以快速使用，以下是一个关于 UserDataFS的简单试用 参考代码 app.py from fs.appfs import UserDataFS user_fs = UserDataFS('my_app 阅读全文

posted @ 2024-10-19 08:00 荣锋亮 阅读(12) 评论(0) 推荐(0) 编辑

2024年10月18日

pyfilesystem jinja2 loader 实现prompt-poet 提示词模板管理

摘要： 效果实际与fsspec jinaj2 laoder类似，就是一个集成测试 pyfilesystem loader 实现 pyfs_loader.py import fs import jinja2 from jinja2.loaders import BaseLoader class PyFiles 阅读全文

posted @ 2024-10-18 06:29 荣锋亮 阅读(30) 评论(0) 推荐(0) 编辑

2024年10月17日

pyfilesystem python 通用文件系统抽象

摘要： pyfilesystem python 通用文件系统抽象包，对于统一基于文件的数据操作比较方便 目前一些内置的文件系统 app 文件系统 ftp 文件系统 memory 文件 mount 文件系统 multi 文件系统 os 文件系统 sub 文件系统 tar 文件系统 temporary 文件系统 阅读全文

posted @ 2024-10-17 06:12 荣锋亮 阅读(31) 评论(0) 推荐(0) 编辑

2024年10月16日

md2pdf python markdown 转pdf 包简单试用

摘要： md2pdf 是基于weasyprint 开发的一个markdown 转pdf 工具，功能上还是比较强大的，支持自定义效果，同时还支持基于jinja2 模版引擎的数据处理，在基本的转换完成之后内部会使用weasyprint 基于html 转换pdf 参考使用 安装 pip install git+h 阅读全文

posted @ 2024-10-16 05:56 荣锋亮 阅读(242) 评论(0) 推荐(0) 编辑

2024年10月15日

fsspec jinaj2 loader 简单说明

摘要： 为了方便使用，我简单提取了jinja2 fspsec loader 的代码，开发成为一个pip 包，方便使用 代码 fsspec_loader.py from __future__ import annotations import pathlib from typing import TYPE_C 阅读全文

posted @ 2024-10-15 06:57 荣锋亮 阅读(12) 评论(0) 推荐(0) 编辑

2024年10月14日

自定义jinja2 loader 实现基于oss的prompt-poet 提示词模板存储

摘要： prompt-poet 默认支持的是基于本地文件系统或者直接模版内容的模式进行处理，对于实际使用上并不是很方便，可以通过简单的扩展jinja2 loader 实现基于fsspec 的模版加载，这么就可以支持各类存储的模型了，以下是一个简单示例，因为目前prompt-poet 内部处理是固定的，暂时只 阅读全文

posted @ 2024-10-14 06:40 荣锋亮 阅读(37) 评论(0) 推荐(0) 编辑

2024年10月13日

chainlit 实际部署一些问题

摘要： chainlit内部基于了socket.io 进行消息处理，socket.io 是有一些缺陷的，但是也有相关的解决方法，同时 对于启动的入口是加载的一个python 文件，这个处理上是动态加载里边的方法到chainlit 运行环境的 内部一些处理 load 模块处理 def load_module( 阅读全文

posted @ 2024-10-13 07:43 荣锋亮 阅读(179) 评论(0) 推荐(0) 编辑

2024年10月12日

fasthtml 快速创建web app 的框架

摘要： fasthtml 让我们可以基于python 代码就可以快速开发web app 的框架，使用上简单 说明 fasthtml 包含了丰富的组件，内部web 框架基于了starlette 与fastapi 是一样的，fasthtml 值得尝试下 参考资料 https://github.com/Answe 阅读全文

posted @ 2024-10-12 06:08 荣锋亮 阅读(357) 评论(0) 推荐(0) 编辑

2024年10月11日

chainlit 一些外部集成部署方法

摘要： chainlit 对于部署支持多种模式，比如直接all-in-one 的，基于fastapi 集成的（api 模式），基于copilot （web 地址 ），react （web 组件），以及其他外部集成，比如slack，team，discord 等，以下简单说明下 模式说明 web app 模式 阅读全文

posted @ 2024-10-11 07:20 荣锋亮 阅读(192) 评论(0) 推荐(0) 编辑

2024年10月10日

fastapi 通过依赖注入模式使用apscheduler

摘要： 就是一个简单记录，方便后续使用 参考代码 api 服务 import uuid from fastapi import FastAPI,Header,Depends,HTTPException from typing import Annotated async def tenant_id(x_te 阅读全文

posted @ 2024-10-10 06:42 荣锋亮 阅读(58) 评论(0) 推荐(0) 编辑

2024年10月9日

fastapi apscheduler 通过函数引用添加job

摘要： 主要是一个简单测试，同时集成fastapi，包含了简单参数传递 参考代码 import logging import uuid from fastapi import FastAPI from pytz import utc from apscheduler.schedulers.backgroun 阅读全文

posted @ 2024-10-09 06:35 荣锋亮 阅读(21) 评论(0) 推荐(0) 编辑

2024年10月8日

python 几个IOC 框架

摘要： 整理几个不错的python ioc 框架，方便学习使用 python-dependency-injector 功能很全，很强大，支持的特性比较多，属于比较全面的ioc 框架了 lagom 一个轻量的ioc 框架，常见玩法够用 FastDepends 这个实际上是来自fastapi 提取的一个ioc 阅读全文

posted @ 2024-10-08 06:47 荣锋亮 阅读(151) 评论(0) 推荐(0) 编辑

2024年10月7日

关于结合faststream + python rq callback 进行job 状态标记的简单说明

摘要： 以前简单介绍过基于faststream + python rq callback 进行job 状态标记，以下是结合源码说明下处理 参考玩法 代码实现 faststream 参考代码 from faststream.redis import RedisBroker from faststream.as 阅读全文

posted @ 2024-10-07 06:41 荣锋亮 阅读(20) 评论(0) 推荐(0) 编辑

2024年10月6日

python rq 实际部署使用简单说明

摘要： python 的rq 是一个简单，使用方便的分布式任务队列库，以下是自己关于实际使用一些总结 参考玩法 参考图 简单玩法流程: app 业务层使用rq 库，链接redis，然后将任务如队列，同时可以结合实际业务对于队列使用不同的名称（比如高中低，或者特定业务模型） 对于实际结合业务特点在不同的业务节 阅读全文

posted @ 2024-10-06 00:02 荣锋亮 阅读(77) 评论(0) 推荐(0) 编辑

2024年10月5日

kedro ossfs 支持说明

摘要： kedro 是基于fsspec 进行内部文件处理的，但是在对于是cloud remote 文件系统的时候是基于白名单处理的有缺陷，对于oss 支持就有问题（比如解析bucket），解决方法很多，一种是直接修改kedro.io.core 中的CLOUD_PROTOCOLS，还有一种就是通过python 阅读全文

posted @ 2024-10-05 06:27 荣锋亮 阅读(7) 评论(0) 推荐(0) 编辑

2024年10月4日

dremio 25.1 版本开始支持sql 预编译处理了

摘要： dremio 从25.1 版本开始，支持sql 预编译了，可以更好的提升系统的安全性 参考使用 传统jdbc 模式 Connection conn = DriverManager.getConnection("jdbc:dremio:direct=localhost:31010;schema=sys 阅读全文

posted @ 2024-10-04 14:24 荣锋亮 阅读(25) 评论(0) 推荐(0) 编辑

lazy_loader attach_stub一种变体玩法

摘要： 此方法在scikit-image包中可以明显看到使用 玩法流程 __init__.py直接基于attach_stub 进行定义懒加载，以后的使用就同时标准玩法了 添加__init__.pyi 进行显示的引入定义，方便实现类型检查以及ide 的自动提示 一个参考玩法 __init__.py 定义 im 阅读全文

posted @ 2024-10-04 08:00 荣锋亮 阅读(9) 评论(0) 推荐(0) 编辑

2024年10月3日

dremio25.1.1 发布

摘要： 就在昨天dremio 发布了25.1.1 主要是一些bug 的fix，尤其是在25.1 版本对于script 保存的问题 说明 完整的变动信息可以参考官方文档，目前oss 代码以及下载包，docker 镜像已经都上传了，可以体验下 参考资料 https://docs.dremio.com/curre 阅读全文

posted @ 2024-10-03 12:56 荣锋亮 阅读(17) 评论(0) 推荐(0) 编辑

lazy_loader python 子包以及函数懒加载框架

摘要： lazy_loader python 子包以及函数懒加载框架, 内部处理上是基于了importlib.import_module 进行动态加载 包含的特性 可以确保子模块对于用户的可见行，不引起而外的开销 允许外部库在使用的时候被加载，提升导入时间 说明 此包在kedro 的datasets 模块中 阅读全文

posted @ 2024-10-03 08:00 荣锋亮 阅读(57) 评论(0) 推荐(0) 编辑

2024年10月2日

dynaconf python 配置管理库

摘要： dynaconf python 配置管理库 包含的特性 基于12 factor 原则 设置管理（默认值、校验、解析、模版） 保护敏感信息（比如用户密码） 多文件格式支持（toml,yaml, ini，json，py） 支持环境变量重写 可选的分层多环境配置支持 支持外部配置存储（vault，redi 阅读全文

posted @ 2024-10-02 07:24 荣锋亮 阅读(45) 评论(0) 推荐(0) 编辑

2024年10月1日

kedro IncrementalDataset 简单说明

摘要： IncrementalDataset 实现了一种增量数据处理的能力，基于了PartitionedDataset 同时包含了checkpoint 确保数据处理的准确性，对于 checkpoint 可以配置自己的函数 参考定义 参考catalog 定义 my_partitioned_dataset: t 阅读全文

posted @ 2024-10-01 08:00 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

2024年9月30日

kedro 的PartitionedDataset简单说明

摘要： kedro 的PartitionedDataset是一个比较强大的数据集处理模块，支持数据的分片加载以及分片写入能力，以下简单说明下 数据分片读取能力 参考catalog 配置 companies: type: partitions.PartitionedDataset path: s3://ked 阅读全文

posted @ 2024-09-30 08:00 荣锋亮 阅读(9) 评论(0) 推荐(0) 编辑

2024年9月29日

prompt-poet 参考使用

摘要： 主要是一个简单的功能体验，包含了include 以及简单的jinja2 逻辑判断 模版定义 app.yaml.j2 {% include 'system_instruction.yml.j2' %} - name: system demo role: system content: | you ar 阅读全文

posted @ 2024-09-29 17:03 荣锋亮 阅读(26) 评论(0) 推荐(0) 编辑

rpyc python rpc 框架

摘要： rpyc 属于一个老牌项目了，支持rpc 模式的处理，同时支持面向服务的开发模式，包含了一些安全控制，支持服务注册，服务发现 包含的特性 透明，可以使用类似本地模式的方法访问 对称，client 以及server 都可以支持调用 支持同步以及异步操作 平台无关 低开销 安全，支持基于tls，以及ss 阅读全文

posted @ 2024-09-29 17:02 荣锋亮 阅读(95) 评论(0) 推荐(0) 编辑

prompt-poet 方便设计提示词的python 包

摘要： prompt-poet 方便设计提示词的python 包，基于yaml 以及jinja2 开发，prompt-poet 提供了灵活、动态的提示词创建prompt-poet 饿的提示词模版混合了yaml 以及jinja2 prompt-poet 模版处理 渲染，初始阶段基于了jinja2，此阶段进行数 阅读全文

posted @ 2024-09-29 17:01 荣锋亮 阅读(65) 评论(0) 推荐(0) 编辑

petl 集成ossfs 实现阿里云oss 数据的简单处理

摘要： 主要是一个简单演示，基于petl remote source 能力，实现本地csv 数据读取之后写入远端oss 中 参考代码 注意需要明确使用remote source，petl 在处理上不像pandas 等类似框架可以直接基于文件系统的protocol 自动进行底层文件系统的选择 安装依赖 pip 阅读全文

posted @ 2024-09-29 06:42 荣锋亮 阅读(10) 评论(0) 推荐(0) 编辑

2024年9月28日

dremio 25.1 github 代码变动

摘要： dremio 25.1 已经发布了好几个礼拜了，以前说过github 社区版25.1 版本的没有提交最新的，最近看了下github 已经提交新的了 而且这次应该是比较完整的 构建上的一些问题 jdk 依赖 这个保持不变，同时看官方一些信息对于maven 构建已经调整了，有了不错的支持 ui 组件 目 阅读全文

posted @ 2024-09-28 11:30 荣锋亮 阅读(22) 评论(0) 推荐(0) 编辑

petl 轻量级的python etl 处理框架

摘要： petl 轻量级通用的python etl 处理框架 petl 目的 petl 目的是简单，性能上以及对于处理大数据集可能不是很适合，就是需要使用dask，pandas 等这类的 etl 能力 基于了延迟计算的能力 函数以及面向对象的编程方式 交互式使用 可以集成Ipython notebook c 阅读全文

posted @ 2024-09-28 00:01 荣锋亮 阅读(73) 评论(0) 推荐(0) 编辑

2024年9月27日

whisperfile llamafile 提供的基于whisper.cpp的快速运行whisper的应用

摘要： 对于llamafile 大家可能都听说过，最近llamafile 提供了基于whisper.cpp 的whisperfile ，我们可以快速使用 whisperfile 进行翻译处理 参考使用 下载whisperfile 以及模型 whisperfile 可以直接从github 下载 模型地址: h 阅读全文

posted @ 2024-09-27 08:08 荣锋亮 阅读(36) 评论(0) 推荐(0) 编辑

2024年9月26日

通过ossfs fsspec 扩展访问oss 数据

摘要： 尽管oss 对于s3 客户端具有兼容性，直接通过s3fs 是可以直接访问oss 的，但是有不少缺陷（比如ls 的支持就有问题）ossfs 是基于oss client 实现的标准 fsspec 扩展，使用上很不错，对于文件系统常见操作支持的很好，以下是一个简单使用说明 参考使用 安装 pip inst 阅读全文

posted @ 2024-09-26 08:14 荣锋亮 阅读(81) 评论(0) 推荐(0) 编辑

kedro package 项目运行内部处理

摘要： kedro package 会将开发的data pipeline 项目构建为一个标准的python whl 格式包（build 模块），之后我们就可以直接基于项目模块运行开发的pipeline 了，以下简单说明下内部处理 项目结构 为了将kedro pipeline 项目提供为一个可以通过模块直接运 阅读全文

posted @ 2024-09-26 08:00 荣锋亮 阅读(21) 评论(0) 推荐(0) 编辑

2024年9月25日

kedro parameters 简单使用

摘要： kedro 的parameters还是比较强大的，我们直接可以基于配置，或者运行时定义就可以方便的使用配置参数，以下是使用的简单说明 定义parameters 一般是在conf/base/parameters.yml 中，当然也可以配置特定pipeline 的parameters 参考 name: 阅读全文

posted @ 2024-09-25 05:56 荣锋亮 阅读(15) 评论(0) 推荐(0) 编辑

2024年9月24日

metaflow netflix开源的数据科学ML&AI 框架

摘要： metaflow netflix开源的数据科学ML&AI 框架，类似的也有kedro,metaflow 相比kedro 来说对于云原生周边支持的更加友好 一张图了解metaflow 能力 如下图，很清晰的说明了metaflow 的能力，而且都是基于代码声明的 说明 metaflow 官方文档比较详细 阅读全文

posted @ 2024-09-24 07:55 荣锋亮 阅读(77) 评论(0) 推荐(0) 编辑

2024年9月23日

kedro data catalog version 处理简单说明

摘要： kedro data catalog 支持version 化，这样可以方便的使用特定时间的多数据，以下是对于version 的简单说明 参考使用 pikachu: type: kedro_pokemon.datasets.image_dataset.ImageDataset filepath: da 阅读全文

posted @ 2024-09-23 00:02 荣锋亮 阅读(11) 评论(0) 推荐(0) 编辑

2024年9月22日

kedro 参考架构

摘要： 内容来自官方文档，主要是一个记录，方便学习使用，通过此图我们可以快速的了解kedro的开发机制以及内部运行，有助于阅读源码对于kedro进行扩展 参考图 说明 上图中包含了kedro project 说明了对于pipeline 开发者的代码结构以及开发流程（一般我们基于标准模版开发就可以了），ked 阅读全文

posted @ 2024-09-22 06:41 荣锋亮 阅读(24) 评论(0) 推荐(0) 编辑

2024年9月21日

kedro package 命令内部处理简单说明

摘要： kedro package 是一个比较方便的能力，可以将我们开发的data pipeline 打包为python 包，方便分发以及使用，以下简单说明下内部实现 参考内部处理 代码 可以看到内部并没有特殊的地方，对于标准python whl 文件基于了build 模块进行构建，对于配置部分使用了tar 阅读全文

posted @ 2024-09-21 06:57 荣锋亮 阅读(9) 评论(0) 推荐(0) 编辑

2024年9月20日

kedro 简单试用

摘要： 主要是一个简单学习试用 环境准备 安装kedro python -m venv venv source venv/bin/activate pip install kedro minio s3 存储 为了方便测试使用了s3 进行数据存储,注意需要同时安装 version: "3" services: 阅读全文

posted @ 2024-09-20 06:02 荣锋亮 阅读(38) 评论(0) 推荐(0) 编辑

2024年9月19日

qwen2.5 发布

摘要： 就在今天qwen2.5 发布了，同时集成ollama 相关的镜像官方也提供了，对于函数调用的模版也支持已经修改了 参考Modilefile 参考新的配置参数 {{ if .Messages }} {{- if .Tools }}<|im_start|>system {{- if .System }} 阅读全文

posted @ 2024-09-19 08:15 荣锋亮 阅读(647) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 7 8 9 ··· 127 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示