随笔分类 -  machine learning && LLM

上一页 1 2 3 4 5 6 7 下一页

机器学习&&LLM
opencv python pip mac 安装一个问题
摘要：opencv 对于不同平台实际已经提供了abi3 兼容的whl 文件，我们可以直接下载快速安装，而不是pip 安装的时候进行构建会特别慢 但是对于mac 版本有一些问题 问题说明 现有whl的格式opencv_python-4.10.0.84-cp37-abi3-macosx_12_0_x86_64 阅读全文

posted @ 2025-01-03 08:00 荣锋亮 阅读(17) 评论(0) 推荐(0) 编辑

ollama 0.5.0 发布内置结构化输出了
摘要：就在前几天ollama 发布了0.5.0了内置支持结构化输出了，同时ollama python 以及js 库已经支持此特性了，很值得使用 说明 同时就在一个小时之前发布了0.5.1 解决了一些结构化输出的bug 参考资料 https://github.com/ollama/ollama/releas 阅读全文

posted @ 2024-12-07 08:59 荣锋亮 阅读(162) 评论(0) 推荐(0) 编辑

pydantic ai集成ollama简单试用
摘要：就是一个示例学习，体验下pydantic ai，llm 基于了ollama 参考代码 app.py 一个集成ollama 的测试 import asyncio from openai import AsyncOpenAI from pydantic import BaseModel,Field fr 阅读全文

posted @ 2024-12-03 21:21 荣锋亮 阅读(143) 评论(0) 推荐(0) 编辑

pydantic ai agent 框架
摘要：pydantic 团队也开始搞ai agent 框架了，目前属于beta 版 使用pydantic ai 的一些原因（来自官方介绍） 来自pydantic团队，不少llm python sdk 都使用了此包 模型无关，尽管当前支持的还有限，但是提供了简单接口可以扩展 类型安全 支持基于普通pytho 阅读全文

posted @ 2024-12-03 19:24 荣锋亮 阅读(149) 评论(0) 推荐(0) 编辑

ollama python 新版本支持传递python 函数
摘要：在ollama python sdk 的最近更新中，支持传递python 函数到chat 调用中，以下是一个简单示例 参考使用 app.py from ollama import chat from ollama import ChatResponse def add_two_numbers(a: 阅读全文

posted @ 2024-11-27 13:01 荣锋亮 阅读(189) 评论(0) 推荐(0) 编辑

multi-agent-orchestrator aws 开源的多agent 调度框架
摘要：multi-agent-orchestrator 是aws 开源的多agent 调度框架 包含的特性 多agent 调度 多语言支持，目前支持python 以及typescript 包含智能意图分类，可以方便的基于查询以及动态路由 灵活的agent 响应，支持流以及非流出来 支持上下文管理，可以方便 阅读全文

posted @ 2024-11-22 21:51 荣锋亮 阅读(146) 评论(0) 推荐(0) 编辑

cookiecutter-data-science 基于cookiecutter数据科学项目模版
摘要：cookiecutter-data-science 基于cookiecutter数据科学项目模版 说明 cookiecutter-data-science 属于项目工程化的最佳实践，kedro 也是一个很不错的项目实践，值得尝试下 参考资料 https://cookiecutter-data-sci 阅读全文

posted @ 2024-11-18 08:00 荣锋亮 阅读(14) 评论(0) 推荐(0) 编辑

promptic 简单基于python 的llm 包
摘要：promptic 是基于litellm 开发的一个简单llm 包 包含的特性 基于装饰器的集成 参数模版 pydantic 模型支持 streaming 支持 简单llm 交互 说明 当然使用promptic 作为结构化输出也是一个不错的选择，代码并不多，可以看看 参考资料 https://gith 阅读全文

posted @ 2024-11-17 08:00 荣锋亮 阅读(18) 评论(0) 推荐(0) 编辑

LitServe fastapi endpoint注册简单说明
摘要：LitServe 是基于fastapi 开发的，因为服务ai 模型的特殊性（一般都比较耗时，运行时间会比较长），LitServe 对于api endpoint 的注册并不是简单的处理，而是包含了一个自己的spec，基于此spec 实现灵活的定义（比如支持openai 兼容模式） 参考注册 spec 阅读全文

posted @ 2024-11-13 08:00 荣锋亮 阅读(22) 评论(0) 推荐(0) 编辑

Photino 轻量级跨平台应用开发框架
摘要：Photino 属于一个新的跨平台app 开发方案 包含的特性 支持基于c++，c# ，java 的native 编译 跨平台ui，可以基于vue，react，angular，blazor，Photino 使用了os 内置的chromium 或者基于webkit 的浏览器 轻量级，相比electro 阅读全文

posted @ 2024-11-13 08:00 荣锋亮 阅读(131) 评论(0) 推荐(0) 编辑

LitServe 服务多worker启动简单说明
摘要：LitServe 是一个基于fastapi 包装的快速推理api 服务，以下只简单说明下关于server 启动部分的处理 参考使用 我们可以通过配置devices 以及每个device 对应的worker 数执行以那种模式进行server 的启动（多线程还是多进程） 参考使用 if __name__ 阅读全文

posted @ 2024-11-09 08:00 荣锋亮 阅读(65) 评论(0) 推荐(0) 编辑

LitServe 快速部署类openai 接口服务
摘要：以前简单说明过LitServe 支持openai 接口格式的服务api，以下是一个简单试用 参考代码 app.py import litserve as ls class SimpleLitAPI(ls.LitAPI): def setup(self, device): self.model = N 阅读全文

posted @ 2024-11-08 08:00 荣锋亮 阅读(64) 评论(0) 推荐(0) 编辑

LitServe 快速进行ai 模型服务的引擎
摘要：LitServe 是一个使用简单的基于fastapi 开发方的ai 服务引擎，支持批处理以及streaming 模式 包含的特性 灵活的扩展能力，支持callback 以及中间件模式，对于request 以及response 进行修改 完全控制，可以运行单个或者多个模型进行推理服务 构建组合ai 系 阅读全文

posted @ 2024-11-07 08:00 荣锋亮 阅读(51) 评论(0) 推荐(0) 编辑

基于prompt-poet进行了灵活的提示词模版管理
摘要：以前简单介绍过prompt-poet的使用，同时也进行了一些扩展（比如支持s3，oss，等加载的loader 集成） 实际上使用好prompt-poet 可以简化不少我们的提示词管理能力，实现灵活的个性化提示词能力，以下是一个简单的 使用说明 参考结构管理 prompt-poet 默认支持加载本地文 阅读全文

posted @ 2024-10-20 08:00 荣锋亮 阅读(53) 评论(0) 推荐(0) 编辑

pyfilesystem jinja2 loader 实现prompt-poet 提示词模板管理
摘要：效果实际与fsspec jinaj2 laoder类似，就是一个集成测试 pyfilesystem loader 实现 pyfs_loader.py import fs import jinja2 from jinja2.loaders import BaseLoader class PyFiles 阅读全文

posted @ 2024-10-18 06:29 荣锋亮 阅读(28) 评论(0) 推荐(0) 编辑

pyfilesystem python 通用文件系统抽象
摘要：pyfilesystem python 通用文件系统抽象包，对于统一基于文件的数据操作比较方便 目前一些内置的文件系统 app 文件系统 ftp 文件系统 memory 文件 mount 文件系统 multi 文件系统 os 文件系统 sub 文件系统 tar 文件系统 temporary 文件系统 阅读全文

posted @ 2024-10-17 06:12 荣锋亮 阅读(31) 评论(0) 推荐(0) 编辑

md2pdf python markdown 转pdf 包简单试用
摘要：md2pdf 是基于weasyprint 开发的一个markdown 转pdf 工具，功能上还是比较强大的，支持自定义效果，同时还支持基于jinja2 模版引擎的数据处理，在基本的转换完成之后内部会使用weasyprint 基于html 转换pdf 参考使用 安装 pip install git+h 阅读全文

posted @ 2024-10-16 05:56 荣锋亮 阅读(229) 评论(0) 推荐(0) 编辑

自定义jinja2 loader 实现基于oss的prompt-poet 提示词模板存储
摘要：prompt-poet 默认支持的是基于本地文件系统或者直接模版内容的模式进行处理，对于实际使用上并不是很方便，可以通过简单的扩展jinja2 loader 实现基于fsspec 的模版加载，这么就可以支持各类存储的模型了，以下是一个简单示例，因为目前prompt-poet 内部处理是固定的，暂时只 阅读全文

posted @ 2024-10-14 06:40 荣锋亮 阅读(36) 评论(0) 推荐(0) 编辑

chainlit 实际部署一些问题
摘要：chainlit内部基于了socket.io 进行消息处理，socket.io 是有一些缺陷的，但是也有相关的解决方法，同时 对于启动的入口是加载的一个python 文件，这个处理上是动态加载里边的方法到chainlit 运行环境的 内部一些处理 load 模块处理 def load_module( 阅读全文

posted @ 2024-10-13 07:43 荣锋亮 阅读(165) 评论(0) 推荐(0) 编辑

fasthtml 快速创建web app 的框架
摘要：fasthtml 让我们可以基于python 代码就可以快速开发web app 的框架，使用上简单 说明 fasthtml 包含了丰富的组件，内部web 框架基于了starlette 与fastapi 是一样的，fasthtml 值得尝试下 参考资料 https://github.com/Answe 阅读全文

posted @ 2024-10-12 06:08 荣锋亮 阅读(326) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 7 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示