摘要：主要是一个简单测试，记录下 环境准备 需要安装llama-cpp-agent 以及启动一个llama-server 安装 pip install llama-cpp-agent 服务启动 Linux 环境自己编译的llama-server llama-server -m rubra-mistral- 阅读全文

摘要：llama-cpp-python 推荐的玩法是自己编译，以下是关于cuda 支持编译的简单说明 参考构建命令 命令 export CUDACXX=/usr/local/cuda-12.5/bin/nvcc # 此处核心是指定了nvcc 编译器路径，同时安装过cuda-drivers , 还需要配置环 阅读全文

摘要：ollama 在最新的版本中实现了函数调用，但是处理上还是有一些bug 的，llama-cpp-python web server 是利用了llama.cpp web server 同时进行了一些request 的处理，可以更好的兼容openai 支持了tools 函数调用，以下是基于llama-c 阅读全文

摘要：litellm 对于embedding模型的配置实际与普通模式的配置是一样的，embedding 有特定的，同时chat 模型也都有embedding 能力 参考配置 通过proxy 模式 model_list: - model_name: text-embedding-ada-002 litell 阅读全文

摘要：ollama 当前版本对于openai api 的兼容实际上部分是有问题的(目前官方在进行修改，但是暂时还没发布)，我们可以通过litelmm 的proxy 模式提供openaia 兼容的api，同时可以进行灵活的改写（比如openai 的gpt-3.5-turbo 实际使用的是michaelbor 阅读全文

摘要：faster-whisper 通过CTranslate2 对于openai/whisper的tranformer 模型进行了转换，可以提示推理速度，同时还可以进行不同精度的配置 官方目前的测试是有4倍左右的提升，同时可以更好的支持使用cpu 进行推理，同时faster-whisper 可以兼容dis 阅读全文

摘要：以前简单介绍了llm-axe是支持函数调用的，以下是对于ollama 函数调用的简单试用 参考使用 me.py from llm_axe.agents import FunctionCaller from llm_axe.models import OllamaChat import time de 阅读全文

摘要：llm-axe 提供了不少工具类，可以方便进行llm 应用开发 提供的一个能力 自定义agent 函数调用 在线agent pdf 内容读取 数据提取 对象检测（视觉模型） 支持ollama 说明 对于基于ollama 开发应用的场景，llm-axe 提供的一些功能还是很方便的，很值得使用下 参考资 阅读全文

摘要：outlines 结构化文本生成框架 包含的特性 多模型集成，openai，transformers，llama.cpp, exllama2,mamba 基于jinja 模版引擎简单强大的提示词 类型约束，多选择支持 快速正则结构生成 基于json schema 以及pydantic 模型的快速js 阅读全文

摘要：主要是一个简单记录，方便后续使用 安装 pip install -U huggingface_hub 使用 下载模型 huggingface-cli download --resume-download gpt2 --local-dir gpt2 下载数据 huggingface-cli downl 阅读全文

摘要：miniconda 是一个快速安装conda 以及python 环境的工具，很值得使用 安装说明 下载 wget https://repo.anaconda.com/miniconda/Miniconda3-py312_24.5.0-0-Linux-x86_64.sh 安装 sh ./Minicon 阅读全文

摘要：cloudflared tunnel 提供了免费的可以快速将本地服务暴露到互联网的能力，可以方便我们测试，很值得试用下，以下是一个简单测试 简单使用 安装 基于mac 系统 brew install cloudflared 登陆注册 按照提示操作就行，不用付费 cloudflared tunnel 阅读全文

摘要：实际可能会碰到一种场景我们希望进行maven 的打包（比如shade）但是目前项目pom.xml 没有包含plugin 的配置，实际上maven 是可以直接通过maven 坐标模式，使用完整名称进行插件的加载以及执行的 参考使用 命令 以下是对于项目打一个fat jar mvn clean comp 阅读全文

摘要：omniparse 面向文档以及 多媒体资源的数据处理解析以及优化的工具 包含的特性 本地运行 支持10+ 文件类型 转换文旦分多媒体，web 为高质量结构化的markdown 表格提取，图片提取，音视频字幕，web 爬虫 快速部署 提供了api 访问 使用到的一些开源工具 如下，主要是orc ，音 阅读全文

摘要：就在7月低snowflake 的 polaris 代码以及发布到github 了，以下是一些资料可以参考 说明 从介绍上polaris 实际上包含了不少nessie 的能力，后续如果与dremio 的集成，还是值得期待的，在今年dremio 的发布会上，说是会包含一个基于rest catalog 的 阅读全文

摘要：内容来自官方文档，记录下 参考使用 代码 from typing import List from pydantic import BaseModel from openai import OpenAI import instructor class Data(BaseModel): index: 阅读全文

摘要：chatapp stream 模式还是很重要的，现在的llm api 基本都支持stream模式了chainlit 也提供了stream 模式的支持 参考处理 import chainlit as cl from openai import AsyncOpenAI client = AsyncOpe 阅读全文

摘要：以前简单介绍过chainlit 以及litellm 以下是fastapi 集成chainlit ，使用litellm proxy 包装的标准openai 能力（同时还能实现计费） 参考玩法 环境准备 包含了litellm proxy 以及ollama 的比较简单，我就不多介绍了，具体可以通过静态配置 阅读全文

摘要：chainlit 快速ai 聊天开发框架，使用简单 包含的特性 快速开发类似chatgpt 的应用 嵌入chatbot 数据持久化 slack & discord 集成 自动前端界面 api 接口 与其他框架的集成，比如fastapi，langchain，llamaindex， haystack，e 阅读全文

摘要：关于计费我以前简单介绍过，可以通过ui 配置，同时对于计费费用可以使用api 获取，实际上我们可以直接通过api 创建模型的时候进行自定义计费配置，以下是一个简单说明 参考api 定义 使用 通过curl 模式，注意此数据实际会存储到db 中，注意配置文件中关于db 信息的添加 curl -X 'P 阅读全文