荣锋亮 - 博客园

unstract 无代码运行api 以及etl pipeline 进行数据结构化的llm平台

摘要： unstract 无代码运行api 以及etl pipeline 进行数据结构化的llm平台参考处理流程分三步通过prompt studio 进行提示词的处理，定义需要提取的字段配置项目做为api 或者配置输入输出etl pipeline 部署data api 或者etl pipeline 阅读全文

posted @ 2024-09-03 07:15 荣锋亮阅读(31) 评论(0) 推荐(0) 编辑

一些不错的LLM 结构化输出库

摘要：结构化输出对于LLM 是一个比较重要的功能，以下是一个开源不错的工具，可以方便使用简单说明 outlines以及instructor 是很不错的工具对于基于api 的推荐使用instructor，kor 以及langchain 集成比较好guardrails 也算是一个不错的工具提供了结构化输出的阅读全文

posted @ 2024-09-02 08:00 荣锋亮阅读(76) 评论(0) 推荐(0) 编辑

guardrailsai llm 校验工具

摘要： guardrails ai 提供了的llm 校验能力，同时提供了一个hub 平台，可以方便使用一些现成的validators 特性 guardrails ai 对于input 以及output 进行check，确保数据的准确性，减少风险 guardrails ai 可以帮助生成结构化数据包含了一个阅读全文

posted @ 2024-09-01 06:35 荣锋亮阅读(16) 评论(0) 推荐(0) 编辑

chainlit 集成外部认证的方法

摘要： chainlit 对于auth 上支持了多种模式，比如基于用户密码的，基于header的以及基于oauth 的对于认证的用户就可以通过session 变量获取信息了，方便后续使用集中模式说明用户密码模式此模式比较简单，核心是按需返回需要的数据，此处可以是基于db 的也可以是基于api 的,使阅读全文

posted @ 2024-08-31 07:34 荣锋亮阅读(44) 评论(0) 推荐(0) 编辑

ollama num_ctx 修改问题

摘要：属于一个比较场景的问题，因为ollama num_ctx 默认是2048 对于比较大的上下文窗口数据会出现被截断的问题解决方法目前基本分类两种方法，一种是临时以及持久的，机制上还有一些差异，因为ollama 内部实际也是拉起的llama.cpp 服务对于调用chat api 可以直接通过api 阅读全文

posted @ 2024-08-31 07:33 荣锋亮阅读(527) 评论(0) 推荐(0) 编辑

chainlit 异步以及同步转换处理简单说明

摘要： chainlit 提供了工具方法，可以方便的将同步转异步，同时将异步转同步使用同步转异步 from chainlit import make_async def my_sync_function(): # Your synchronous code goes here import time t 阅读全文

posted @ 2024-08-31 07:30 荣锋亮阅读(29) 评论(0) 推荐(0) 编辑

poetry extras 以及group 模式简单说明

摘要：我以前简单介绍过poetry 的extras，此模式实际上是可以兼容pip 的，这样我们安装的包就可以通过pip install awesome[databases] 进行处理，group 模式实际上属于poetry 工具自己的特性，方便基于分组模式的依赖管理 poetry extras 参考配置阅读全文

posted @ 2024-08-31 07:30 荣锋亮阅读(33) 评论(0) 推荐(0) 编辑

chainlit context 简单说明

摘要： context 实际上是一个基于ContextVar 包装的一个变量，可以进行一些上下文信息的共享，同时fastapi 与chainlit 的集成也是基于了context ChainlitContext 定义可以看到就是一个session ，emitter 以及active_steps 的包装，通阅读全文

posted @ 2024-08-31 07:30 荣锋亮阅读(34) 评论(0) 推荐(0) 编辑

wrapt 一个方便的python装饰器包

摘要： wrapt 一个方便的python装饰器包，提供了装饰器包装，以及猴子补丁能力，是一个很值得使用的包一个简单猴子补丁玩法业务场景有一个登陆方法，需要进行日志记录，但是不想直接修改原始代码参考代码 my.py def login(name,password): return f"Welcome 阅读全文

posted @ 2024-08-31 07:29 荣锋亮阅读(20) 评论(0) 推荐(0) 编辑

flit简单快读python 打包工具

摘要： flit简单快读python 打包工具，使用简单，支持fllat 项目结构以及src 模式的结构使用安装 python3 -m pip install flit 支持的cli usage: flit [-h] [-f INI_FILE] [-V] {build,publish,install,i 阅读全文

posted @ 2024-08-31 07:29 荣锋亮阅读(32) 评论(0) 推荐(0) 编辑

llama-cpp-agent map chain 示例

摘要：内容来自官方文档，主要是一个验证以及记录环境准备需要安装llama-cpp-agent 以及启动一个llama-server 安装 pip install llama-cpp-agent 服务启动 Linux 环境自己编译的llama-server llama-server -m rubra-m 阅读全文

posted @ 2024-08-31 07:29 荣锋亮阅读(11) 评论(0) 推荐(0) 编辑

llama-cpp-agent 通过结构化agent 生成数据

摘要：以前说过基于结构化数据配置进行函数调用的，以下是直接使用llama-cpp-agent 自带的StructuredOutputAgent 环境准备需要安装llama-cpp-agent 以及启动一个llama-server 安装 pip install llama-cpp-agent 服务启动 L 阅读全文

posted @ 2024-08-30 07:19 荣锋亮阅读(31) 评论(0) 推荐(0) 编辑

llama-cpp-agent 兼容llama.cpp 以及llama-cpp-python服务的llm工具

摘要： llama-cpp-agent 兼容llama.cpp 以及llama-cpp-python服务的llm工具包含的特性使用简单结构化输出单个或者并行函数调用 rag 能力 agent chain 基于grammars 以及json schema 的处理，可以确保大部分7b 的llm 可以支持阅读全文

posted @ 2024-08-29 07:26 荣锋亮阅读(33) 评论(0) 推荐(0) 编辑

llama-cpp-agent 函数调用agent 进行函数调用

摘要：与结构化调用类似，就是一个记录环境准备需要安装llama-cpp-agent 以及启动一个llama-server 安装 pip install llama-cpp-agent 服务启动 Linux 环境自己编译的llama-server llama-server -m rubra-mistra 阅读全文

posted @ 2024-08-28 07:37 荣锋亮阅读(42) 评论(0) 推荐(0) 编辑

llama-cpp-agent 通过构结构化输出实现函数调用

摘要：主要是一个简单测试，记录下环境准备需要安装llama-cpp-agent 以及启动一个llama-server 安装 pip install llama-cpp-agent 服务启动 Linux 环境自己编译的llama-server llama-server -m rubra-mistral- 阅读全文

posted @ 2024-08-27 08:00 荣锋亮阅读(32) 评论(0) 推荐(0) 编辑

llama-cpp-python web server cuda 编译安装简单说明

摘要： llama-cpp-python 推荐的玩法是自己编译，以下是关于cuda 支持编译的简单说明参考构建命令命令 export CUDACXX=/usr/local/cuda-12.5/bin/nvcc # 此处核心是指定了nvcc 编译器路径，同时安装过cuda-drivers , 还需要配置环阅读全文

posted @ 2024-08-26 08:00 荣锋亮阅读(98) 评论(0) 推荐(0) 编辑

通过llama-cpp-python web server 实现函数调用

摘要： ollama 在最新的版本中实现了函数调用，但是处理上还是有一些bug 的，llama-cpp-python web server 是利用了llama.cpp web server 同时进行了一些request 的处理，可以更好的兼容openai 支持了tools 函数调用，以下是基于llama-c 阅读全文

posted @ 2024-08-25 07:11 荣锋亮阅读(156) 评论(0) 推荐(0) 编辑

litellm 配置embedding 模型

摘要： litellm 对于embedding模型的配置实际与普通模式的配置是一样的，embedding 有特定的，同时chat 模型也都有embedding 能力参考配置通过proxy 模式 model_list: - model_name: text-embedding-ada-002 litell 阅读全文

posted @ 2024-08-24 07:34 荣锋亮阅读(50) 评论(0) 推荐(0) 编辑

通过litellm + ollma 试用autolabel

摘要： ollama 当前版本对于openai api 的兼容实际上部分是有问题的(目前官方在进行修改，但是暂时还没发布)，我们可以通过litelmm 的proxy 模式提供openaia 兼容的api，同时可以进行灵活的改写（比如openai 的gpt-3.5-turbo 实际使用的是michaelbor 阅读全文

posted @ 2024-08-23 08:00 荣锋亮阅读(115) 评论(0) 推荐(0) 编辑

faster-whisper通过CTranslate2 转换的快速whisper推理服务

摘要： faster-whisper 通过CTranslate2 对于openai/whisper的tranformer 模型进行了转换，可以提示推理速度，同时还可以进行不同精度的配置官方目前的测试是有4倍左右的提升，同时可以更好的支持使用cpu 进行推理，同时faster-whisper 可以兼容dis 阅读全文

posted @ 2024-08-22 07:47 荣锋亮阅读(156) 评论(0) 推荐(0) 编辑

llm-axe ollama 函数调用试用

摘要：以前简单介绍了llm-axe是支持函数调用的，以下是对于ollama 函数调用的简单试用参考使用 me.py from llm_axe.agents import FunctionCaller from llm_axe.models import OllamaChat import time de 阅读全文

posted @ 2024-08-21 07:43 荣锋亮阅读(24) 评论(0) 推荐(0) 编辑

llm-axe LLM 应用开发一些方便的工具类

摘要： llm-axe 提供了不少工具类，可以方便进行llm 应用开发提供的一个能力自定义agent 函数调用在线agent pdf 内容读取数据提取对象检测（视觉模型）支持ollama 说明对于基于ollama 开发应用的场景，llm-axe 提供的一些功能还是很方便的，很值得使用下参考资阅读全文

posted @ 2024-08-20 08:00 荣锋亮阅读(9) 评论(0) 推荐(0) 编辑

outlines 结构化文本生成框架

摘要： outlines 结构化文本生成框架包含的特性多模型集成，openai，transformers，llama.cpp, exllama2,mamba 基于jinja 模版引擎简单强大的提示词类型约束，多选择支持快速正则结构生成基于json schema 以及pydantic 模型的快速js 阅读全文

posted @ 2024-08-19 08:00 荣锋亮阅读(86) 评论(0) 推荐(0) 编辑

huggingface_hub cli 使用以及国内加速配置

摘要：主要是一个简单记录，方便后续使用安装 pip install -U huggingface_hub 使用下载模型 huggingface-cli download --resume-download gpt2 --local-dir gpt2 下载数据 huggingface-cli downl 阅读全文

posted @ 2024-08-18 06:19 荣锋亮阅读(95) 评论(0) 推荐(0) 编辑

miniconda 安装简单说明

摘要： miniconda 是一个快速安装conda 以及python 环境的工具，很值得使用安装说明下载 wget https://repo.anaconda.com/miniconda/Miniconda3-py312_24.5.0-0-Linux-x86_64.sh 安装 sh ./Minicon 阅读全文

posted @ 2024-08-17 07:53 荣锋亮阅读(48) 评论(0) 推荐(0) 编辑

cloudflared tunnel 简单使用

摘要： cloudflared tunnel 提供了免费的可以快速将本地服务暴露到互联网的能力，可以方便我们测试，很值得试用下，以下是一个简单测试简单使用安装基于mac 系统 brew install cloudflared 登陆注册按照提示操作就行，不用付费 cloudflared tunnel 阅读全文

posted @ 2024-08-16 00:13 荣锋亮阅读(65) 评论(0) 推荐(0) 编辑

maven 通过cli 执行plugin 命令

摘要：实际可能会碰到一种场景我们希望进行maven 的打包（比如shade）但是目前项目pom.xml 没有包含plugin 的配置，实际上maven 是可以直接通过maven 坐标模式，使用完整名称进行插件的加载以及执行的参考使用命令以下是对于项目打一个fat jar mvn clean comp 阅读全文

posted @ 2024-08-15 07:13 荣锋亮阅读(45) 评论(0) 推荐(0) 编辑

omniparse 面向文档以及多媒体资源的数据处理解析以及优化的工具

摘要： omniparse 面向文档以及多媒体资源的数据处理解析以及优化的工具包含的特性本地运行支持10+ 文件类型转换文旦分多媒体，web 为高质量结构化的markdown 表格提取，图片提取，音视频字幕，web 爬虫快速部署提供了api 访问使用到的一些开源工具如下，主要是orc ，音阅读全文

posted @ 2024-08-14 08:00 荣锋亮阅读(209) 评论(0) 推荐(0) 编辑

snowflake polaris iceberg rest catalog 代码发布到github 了

摘要：就在7月低snowflake 的 polaris 代码以及发布到github 了，以下是一些资料可以参考说明从介绍上polaris 实际上包含了不少nessie 的能力，后续如果与dremio 的集成，还是值得期待的，在今年dremio 的发布会上，说是会包含一个基于rest catalog 的阅读全文

posted @ 2024-08-13 00:32 荣锋亮阅读(21) 评论(0) 推荐(0) 编辑

instructor 进行PII 数据处理

摘要：内容来自官方文档，记录下参考使用代码 from typing import List from pydantic import BaseModel from openai import OpenAI import instructor class Data(BaseModel): index: 阅读全文

posted @ 2024-08-13 00:04 荣锋亮阅读(6) 评论(0) 推荐(0) 编辑

chainlit stream 模式简单说明

摘要： chatapp stream 模式还是很重要的，现在的llm api 基本都支持stream模式了chainlit 也提供了stream 模式的支持参考处理 import chainlit as cl from openai import AsyncOpenAI client = AsyncOpe 阅读全文

posted @ 2024-08-12 00:06 荣锋亮阅读(41) 评论(0) 推荐(0) 编辑

ollama+ fastapi + litellm proxy + chainlit 进行chatapp 快速开发

摘要：以前简单介绍过chainlit 以及litellm 以下是fastapi 集成chainlit ，使用litellm proxy 包装的标准openai 能力（同时还能实现计费）参考玩法环境准备包含了litellm proxy 以及ollama 的比较简单，我就不多介绍了，具体可以通过静态配置阅读全文

posted @ 2024-08-11 01:04 荣锋亮阅读(128) 评论(0) 推荐(0) 编辑

chainlit 快速ai 聊天开发框架

摘要： chainlit 快速ai 聊天开发框架，使用简单包含的特性快速开发类似chatgpt 的应用嵌入chatbot 数据持久化 slack & discord 集成自动前端界面 api 接口与其他框架的集成，比如fastapi，langchain，llamaindex， haystack，e 阅读全文

posted @ 2024-08-10 00:22 荣锋亮阅读(110) 评论(0) 推荐(0) 编辑

litellm ollama 通过proxy api 进行模型创建以及自定义计费

摘要：关于计费我以前简单介绍过，可以通过ui 配置，同时对于计费费用可以使用api 获取，实际上我们可以直接通过api 创建模型的时候进行自定义计费配置，以下是一个简单说明参考api 定义使用通过curl 模式，注意此数据实际会存储到db 中，注意配置文件中关于db 信息的添加 curl -X 'P 阅读全文

posted @ 2024-08-09 08:00 荣锋亮阅读(85) 评论(0) 推荐(0) 编辑

fastapi socketio 简单使用

摘要： fastapi 集成python-socketio的简单说明参考使用安装依赖 pip install fastapi uvicorn python-socketio backend 代码 from fastapi import FastAPI,Body from fastapi.middlewa 阅读全文

posted @ 2024-08-08 00:13 荣锋亮阅读(39) 评论(0) 推荐(0) 编辑

litellm 计费模型处理

摘要：以下简单说明下litellm 对于计费的处理(使用了内置模式，当然litellm 也是可以通过callback 集成外部系统进行计费的) 参考日志信息 (默认配置) 比如集成internlm2 的日志信息 18:05:05 - LiteLLM:ERROR: litellm_logging.py:12 阅读全文

posted @ 2024-08-07 06:37 荣锋亮阅读(83) 评论(0) 推荐(0) 编辑

flagsmith 开源特性开关以及远程配置服务

摘要： flagsmith 开源特性开关以及远程配置服务包含的特性特性开关远程配置 a/b 多变量测试组织管理，项目，角色，团队成员方便集成参考资料 https://github.com/Flagsmith/flagsmithhttps://www.flagsmith.com/https://d 阅读全文

posted @ 2024-08-06 08:00 荣锋亮阅读(12) 评论(0) 推荐(0) 编辑

litellm fastapi sse api 集成简单说明

摘要：实际上就是基于litellm+ ollama 对于gemma2 包装一个stream rest api ，以下是一个简单说明参考玩法基于litellm 对于ollama 的模型实现proxy，同时增强安全控制能力，ollama 集成了qwen2 、gemma2 以及其他模型 litellm pr 阅读全文

posted @ 2024-08-05 08:00 荣锋亮阅读(55) 评论(0) 推荐(0) 编辑

litellm 集成instructor 简单说明

摘要： instructor 是一个很不错的llm 结构化输出工具litellm 与instructor 的集成模式实际也包含了两种，一种是基于patch 模式，一种是标准openai 模式，以下简单说明下 patch 模式 import litellm from litellm import Router 阅读全文

posted @ 2024-08-04 07:27 荣锋亮阅读(37) 评论(0) 推荐(0) 编辑

litellm proxy 模式试用

摘要： litellm 支持灵活的proxy 模式可以更加方便得控制后端llm 以及特性，以下简单说明下 proxy 使用对于proxy 实际上就是一个api web sever 目前可以通过两种模式运行，一种是直接cli 指定模型的，还有一种是基于配置文件的对于简单项目基于cli 是比较快速的方法，如阅读全文

posted @ 2024-08-03 08:00 荣锋亮阅读(220) 评论(0) 推荐(0) 编辑

导航

公告