2024年8月28日

llama-cpp-agent 函数调用agent 进行函数调用

摘要： 与结构化调用类似，就是一个记录 环境准备 需要安装llama-cpp-agent 以及启动一个llama-server 安装 pip install llama-cpp-agent 服务启动 Linux 环境自己编译的llama-server llama-server -m rubra-mistra 阅读全文

posted @ 2024-08-28 07:37 荣锋亮 阅读(1) 评论(0) 推荐(0) 编辑

2024年8月27日

llama-cpp-agent 通过构结构化输出实现函数调用

摘要： 主要是一个简单测试，记录下 环境准备 需要安装llama-cpp-agent 以及启动一个llama-server 安装 pip install llama-cpp-agent 服务启动 Linux 环境自己编译的llama-server llama-server -m rubra-mistral- 阅读全文

posted @ 2024-08-27 08:00 荣锋亮 阅读(5) 评论(0) 推荐(0) 编辑

2024年8月26日

llama-cpp-python web server cuda 编译安装简单说明

摘要： llama-cpp-python 推荐的玩法是自己编译，以下是关于cuda 支持编译的简单说明 参考构建命令 命令 export CUDACXX=/usr/local/cuda-12.5/bin/nvcc # 此处核心是指定了nvcc 编译器路径，同时安装过cuda-drivers , 还需要配置环 阅读全文

posted @ 2024-08-26 08:00 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

2024年8月25日

通过llama-cpp-python web server 实现函数调用

摘要： ollama 在最新的版本中实现了函数调用，但是处理上还是有一些bug 的，llama-cpp-python web server 是利用了llama.cpp web server 同时进行了一些request 的处理，可以更好的兼容openai 支持了tools 函数调用，以下是基于llama-c 阅读全文

posted @ 2024-08-25 07:11 荣锋亮 阅读(2) 评论(0) 推荐(0) 编辑

2024年8月24日

litellm 配置embedding 模型

摘要： litellm 对于embedding模型的配置实际与普通模式的配置是一样的，embedding 有特定的，同时chat 模型也都有embedding 能力 参考配置 通过proxy 模式 model_list: - model_name: text-embedding-ada-002 litell 阅读全文

posted @ 2024-08-24 07:34 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

2024年8月23日

通过litellm + ollma 试用autolabel

摘要： ollama 当前版本对于openai api 的兼容实际上部分是有问题的(目前官方在进行修改，但是暂时还没发布)，我们可以通过litelmm 的proxy 模式提供openaia 兼容的api，同时可以进行灵活的改写（比如openai 的gpt-3.5-turbo 实际使用的是michaelbor 阅读全文

posted @ 2024-08-23 08:00 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

2024年8月22日

faster-whisper通过CTranslate2 转换的快速whisper推理服务

摘要： faster-whisper 通过CTranslate2 对于openai/whisper的tranformer 模型进行了转换，可以提示推理速度，同时还可以进行不同精度的配置 官方目前的测试是有4倍左右的提升，同时可以更好的支持使用cpu 进行推理，同时faster-whisper 可以兼容dis 阅读全文

posted @ 2024-08-22 07:47 荣锋亮 阅读(11) 评论(0) 推荐(0) 编辑

2024年8月21日

llm-axe ollama 函数调用试用

摘要： 以前简单介绍了llm-axe是支持函数调用的，以下是对于ollama 函数调用的简单试用 参考使用 me.py from llm_axe.agents import FunctionCaller from llm_axe.models import OllamaChat import time de 阅读全文

posted @ 2024-08-21 07:43 荣锋亮 阅读(2) 评论(0) 推荐(0) 编辑

2024年8月20日

llm-axe LLM 应用开发一些方便的工具类

摘要： llm-axe 提供了不少工具类，可以方便进行llm 应用开发 提供的一个能力 自定义agent 函数调用 在线agent pdf 内容读取 数据提取 对象检测（视觉模型） 支持ollama 说明 对于基于ollama 开发应用的场景，llm-axe 提供的一些功能还是很方便的，很值得使用下 参考资 阅读全文

posted @ 2024-08-20 08:00 荣锋亮 阅读(2) 评论(0) 推荐(0) 编辑

2024年8月19日

outlines 结构化文本生成框架

摘要： outlines 结构化文本生成框架 包含的特性 多模型集成，openai，transformers，llama.cpp, exllama2,mamba 基于jinja 模版引擎简单强大的提示词 类型约束，多选择支持 快速正则结构生成 基于json schema 以及pydantic 模型的快速js 阅读全文

posted @ 2024-08-19 08:00 荣锋亮 阅读(12) 评论(0) 推荐(0) 编辑

2024年8月18日

huggingface_hub cli 使用以及国内加速配置

摘要： 主要是一个简单记录，方便后续使用 安装 pip install -U huggingface_hub 使用 下载模型 huggingface-cli download --resume-download gpt2 --local-dir gpt2 下载数据 huggingface-cli downl 阅读全文

posted @ 2024-08-18 06:19 荣锋亮 阅读(10) 评论(0) 推荐(0) 编辑

2024年8月17日

miniconda 安装简单说明

摘要： miniconda 是一个快速安装conda 以及python 环境的工具，很值得使用 安装说明 下载 wget https://repo.anaconda.com/miniconda/Miniconda3-py312_24.5.0-0-Linux-x86_64.sh 安装 sh ./Minicon 阅读全文

posted @ 2024-08-17 07:53 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

2024年8月16日

cloudflared tunnel 简单使用

摘要： cloudflared tunnel 提供了免费的可以快速将本地服务暴露到互联网的能力，可以方便我们测试，很值得试用下，以下是一个简单测试 简单使用 安装 基于mac 系统 brew install cloudflared 登陆注册 按照提示操作就行，不用付费 cloudflared tunnel 阅读全文

posted @ 2024-08-16 00:13 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

2024年8月15日

maven 通过cli 执行plugin 命令

摘要： 实际可能会碰到一种场景我们希望进行maven 的打包（比如shade）但是目前项目pom.xml 没有包含plugin 的配置，实际上maven 是可以直接通过maven 坐标模式，使用完整名称进行插件的加载以及执行的 参考使用 命令 以下是对于项目打一个fat jar mvn clean comp 阅读全文

posted @ 2024-08-15 07:13 荣锋亮 阅读(7) 评论(0) 推荐(0) 编辑

2024年8月14日

omniparse 面向文档以及多媒体资源的数据处理解析以及优化的工具

摘要： omniparse 面向文档以及 多媒体资源的数据处理解析以及优化的工具 包含的特性 本地运行 支持10+ 文件类型 转换文旦分多媒体，web 为高质量结构化的markdown 表格提取，图片提取，音视频字幕，web 爬虫 快速部署 提供了api 访问 使用到的一些开源工具 如下，主要是orc ，音 阅读全文

posted @ 2024-08-14 08:00 荣锋亮 阅读(14) 评论(0) 推荐(0) 编辑

2024年8月13日

snowflake polaris iceberg rest catalog 代码发布到github 了

摘要： 就在7月低snowflake 的 polaris 代码以及发布到github 了，以下是一些资料可以参考 说明 从介绍上polaris 实际上包含了不少nessie 的能力，后续如果与dremio 的集成，还是值得期待的，在今年dremio 的发布会上，说是会包含一个基于rest catalog 的 阅读全文

posted @ 2024-08-13 00:32 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

instructor 进行PII 数据处理

摘要： 内容来自官方文档，记录下 参考使用 代码 from typing import List from pydantic import BaseModel from openai import OpenAI import instructor class Data(BaseModel): index: 阅读全文

posted @ 2024-08-13 00:04 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

2024年8月12日

chainlit stream 模式简单说明

摘要： chatapp stream 模式还是很重要的，现在的llm api 基本都支持stream模式了chainlit 也提供了stream 模式的支持 参考处理 import chainlit as cl from openai import AsyncOpenAI client = AsyncOpe 阅读全文

posted @ 2024-08-12 00:06 荣锋亮 阅读(13) 评论(0) 推荐(0) 编辑

2024年8月11日

ollama+ fastapi + litellm proxy + chainlit 进行chatapp 快速开发

摘要： 以前简单介绍过chainlit 以及litellm 以下是fastapi 集成chainlit ，使用litellm proxy 包装的标准openai 能力（同时还能实现计费） 参考玩法 环境准备 包含了litellm proxy 以及ollama 的比较简单，我就不多介绍了，具体可以通过静态配置 阅读全文

posted @ 2024-08-11 01:04 荣锋亮 阅读(18) 评论(0) 推荐(0) 编辑

2024年8月10日

chainlit 快速ai 聊天开发框架

摘要： chainlit 快速ai 聊天开发框架，使用简单 包含的特性 快速开发类似chatgpt 的应用 嵌入chatbot 数据持久化 slack & discord 集成 自动前端界面 api 接口 与其他框架的集成，比如fastapi，langchain，llamaindex， haystack，e 阅读全文

posted @ 2024-08-10 00:22 荣锋亮 阅读(19) 评论(0) 推荐(0) 编辑

2024年8月9日

litellm ollama 通过proxy api 进行模型创建以及自定义计费

摘要： 关于计费我以前简单介绍过，可以通过ui 配置，同时对于计费费用可以使用api 获取，实际上我们可以直接通过api 创建模型的时候进行自定义计费配置，以下是一个简单说明 参考api 定义 使用 通过curl 模式，注意此数据实际会存储到db 中，注意配置文件中关于db 信息的添加 curl -X 'P 阅读全文

posted @ 2024-08-09 08:00 荣锋亮 阅读(15) 评论(0) 推荐(0) 编辑

2024年8月8日

fastapi socketio 简单使用

摘要： fastapi 集成python-socketio的简单说明 参考使用 安装依赖 pip install fastapi uvicorn python-socketio backend 代码 from fastapi import FastAPI,Body from fastapi.middlewa 阅读全文

posted @ 2024-08-08 00:13 荣锋亮 阅读(8) 评论(0) 推荐(0) 编辑

2024年8月7日

litellm 计费模型处理

摘要： 以下简单说明下litellm 对于计费的处理(使用了内置模式，当然litellm 也是可以通过callback 集成外部系统进行计费的) 参考日志信息 (默认配置) 比如集成internlm2 的日志信息 18:05:05 - LiteLLM:ERROR: litellm_logging.py:12 阅读全文

posted @ 2024-08-07 06:37 荣锋亮 阅读(17) 评论(0) 推荐(0) 编辑

2024年8月6日

flagsmith 开源特性开关以及远程配置服务

摘要： flagsmith 开源特性开关以及远程配置服务 包含的特性 特性开关 远程配置 a/b 多变量测试 组织管理，项目，角色，团队成员 方便集成 参考资料 https://github.com/Flagsmith/flagsmithhttps://www.flagsmith.com/https://d 阅读全文

posted @ 2024-08-06 08:00 荣锋亮 阅读(10) 评论(0) 推荐(0) 编辑

2024年8月5日

litellm fastapi sse api 集成简单说明

摘要： 实际上就是基于litellm+ ollama 对于gemma2 包装一个stream rest api ，以下是一个简单说明 参考玩法 基于litellm 对于ollama 的模型实现proxy，同时增强安全控制能力，ollama 集成了qwen2 、gemma2 以及其他模型 litellm pr 阅读全文

posted @ 2024-08-05 08:00 荣锋亮 阅读(10) 评论(0) 推荐(0) 编辑

2024年8月4日

litellm 集成instructor 简单说明

摘要： instructor 是一个很不错的llm 结构化输出工具litellm 与instructor 的集成模式实际也包含了两种，一种是基于patch 模式，一种是标准openai 模式，以下简单说明下 patch 模式 import litellm from litellm import Router 阅读全文

posted @ 2024-08-04 07:27 荣锋亮 阅读(8) 评论(0) 推荐(0) 编辑

2024年8月3日

litellm proxy 模式试用

摘要： litellm 支持灵活的proxy 模式可以更加方便得控制后端llm 以及特性，以下简单说明下 proxy 使用 对于proxy 实际上就是一个api web sever 目前可以通过两种模式运行，一种是直接cli 指定模型的，还有一种是基于配置文件的 对于简单项目基于cli 是比较快速的方法，如 阅读全文

posted @ 2024-08-03 08:00 荣锋亮 阅读(35) 评论(0) 推荐(0) 编辑

2024年8月2日

superagent ai agent 开发框架

摘要： superagent 是一个ai agent 开发框架 支持的业务场景 基于文档的问答类系统（大模型微调以及向量存储） chatbots co-pilots 以及ai 助手 内容生成 数据聚合 workflow 自动agent 包含的特性 memory 记忆 streaming python 以及t 阅读全文

posted @ 2024-08-02 07:00 荣锋亮 阅读(14) 评论(0) 推荐(0) 编辑

2024年8月1日

langfuse 开源llm工程平台

摘要： langfuse 是一个开源llm工程平台，提供了可观测性，metrics，评估，提示词管理，playgroud，datasets，可以很好的与llamaindex langchain openai sdk，litellm 以及其他东西集成 说明 langfuse 支持的集成还是很多的，提供了不少语 阅读全文

posted @ 2024-08-01 06:30 荣锋亮 阅读(47) 评论(0) 推荐(0) 编辑

2024年7月31日

schemacrawler 免费开源的数据库schema 发现以及理解工具

摘要： schemacrawler 是基于java 开发的免费开源的数据库schema 发现以及理解工具 schemacrawler 包含的几个周边 cli 提供了cli 我们可以方便的处理不同数据库的处理，同时支持输出为html，json，yaml java api 通过java api 可以方便的通过p 阅读全文

posted @ 2024-07-31 07:58 荣锋亮 阅读(19) 评论(0) 推荐(0) 编辑

2024年7月30日

litellm ollama python api 模式测试

摘要： 一起简单说过itellm 支持多种模式的大模型运行，有proxy 模式（可以proxy 模型以及包含api服务的模型接口），也有直接通过python 代码进行访问的，以下是对于ollama 模型的一个简单运行试用 python代码模式 appv4.py 此模式litellm 会自己进行 from l 阅读全文

posted @ 2024-07-30 07:13 荣锋亮 阅读(32) 评论(0) 推荐(0) 编辑

2024年7月29日

litellm openai 标准格式的支持100+ 大模型的负载均衡&异常fallback 框架

摘要： litellm 支持多种大模型的处理包含了负载均衡，fallbabck，速度追踪，配置管理，限速处理，同时对于提供标准的openao 标准格式api基于此我们可以实现大模型标准的openai 能力，同时实现类似openai 的安全管理，key 管理，同时支持多示例的配额管理（基于redis的）同时也 阅读全文

posted @ 2024-07-29 00:42 荣锋亮 阅读(36) 评论(0) 推荐(0) 编辑

2024年7月28日

通过instructor 对于LLM 进行结构化输出

摘要： 很多时候我们是需要对于LLM 生成的内容进行结构化输出的，比如我们希望利用LLM的能力，对于用户发布的内容进行情感分析，或者对于文档内容提取关键信息并转换为结构化的内容，instructor 是一个很不错的选择（支持多种语言的），以下演示下基于python 的 参考使用 大模型部署 为了方便使用了基 阅读全文

posted @ 2024-07-28 08:00 荣锋亮 阅读(18) 评论(0) 推荐(0) 编辑

2024年7月27日

ollama push 自己的模型

摘要： ollama 模型运行之后会生成ssh key ，我们首先需要在https://ollama.com/ 进行注册账户，然后添加自己的key，之后才能进行push key 的位置 默认一般会有一个~/.ollama/id_ed25519.pub，但是也可能会没有（比如调整了配置）还有一个是在/usr/ 阅读全文

posted @ 2024-07-27 18:11 荣锋亮 阅读(14) 评论(0) 推荐(0) 编辑

ollama llama3.1 8b openbuddy中文模型

摘要： openbuddy 对于 llama3.1 8b 模型进行了少量的中文训练实现了不错的中文理解处理，以下是使用社区提供的gguf 格式，制作一个ollama 新模型 模型制作 下载模型 下载gguf 文件，推荐使用加速工具 Modelfile 参考了llama3.1 的 FROM /home/mod 阅读全文

posted @ 2024-07-27 14:48 荣锋亮 阅读(61) 评论(0) 推荐(0) 编辑

python-rq 简单使用

摘要： python-rq 是一个类似celery 的python 任务调度框架基于了redis 部署 需要包含worker 以及具体的任务执行，或者调度任务尺触发, 同时注意因为依赖redis 应该先启动redis 启动worker rq worker --with-scheduler 任务开发 注意任务 阅读全文

posted @ 2024-07-27 08:00 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

2024年7月26日

fastapi apscheduler 集成简单说明

摘要： 对于 fastapi apscheduler 集成以及支持动态添加任务的简单说明 参考使用 依赖 包含了fastapi，apscheduler sqlalchemy uvicorn pip install fastapi apscheduler sqlalchemy uvicorn 代码简单说明 代 阅读全文

posted @ 2024-07-26 08:00 荣锋亮 阅读(12) 评论(0) 推荐(0) 编辑

2024年7月25日

constructor conda 软件安装包构建工具

摘要： constructor 可以用来方便的进行软件包的构建，目前包含了pkg.exe,sh 可以支持不同的操作系统,以下是一个简单使用 准备conda 环境 命令 conda create -n con constructor // 激活 conda activate con 使用 construct. 阅读全文

posted @ 2024-07-25 08:00 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

2024年7月24日

dbt indexes 配置简单说明

摘要： dbt indexes 索引配置的目的是提升系统性能，为了方便维护dbt 提供了默认空实现，对于不同db 会有不同的实现，以下简单说明下 内部macro 定义 可以看到基本实现都为空，由具体的db adapter 实现 {% macro get_create_index_sql(relation, 阅读全文

posted @ 2024-07-24 07:37 荣锋亮 阅读(7) 评论(0) 推荐(0) 编辑

2024年7月23日

ollama 0.2.8 发布

摘要： 就在今天ollama 0.2.8 发布了，提供了新的模型mistral-nemo 以及nuextract 的支持，mistral-nemo 是一个新发布的模型，很值得体验下 参考资料 https://ollama.com/library/mistral-nemohttps://ollama.com/ 阅读全文

posted @ 2024-07-23 15:53 荣锋亮 阅读(23) 评论(0) 推荐(0) 编辑

下一页

导航