rongfengliang-荣锋亮

摘要：chainlit 对于auth 上支持了多种模式，比如基于用户密码的，基于header的以及基于oauth 的 对于认证的用户就可以通过session 变量获取信息了，方便后续使用 集中模式说明 用户密码模式 此模式比较简单，核心是按需返回需要的数据，此处可以是基于db 的也可以是基于api 的,使 阅读全文

摘要：属于一个比较场景的问题，因为ollama num_ctx 默认是2048 对于比较大的上下文窗口数据会出现被截断的问题 解决方法 目前基本分类两种方法，一种是临时以及持久的，机制上还有一些差异，因为ollama 内部实际也是拉起的llama.cpp 服务 对于调用chat api 可以直接通过api 阅读全文

摘要：chainlit 提供了工具方法，可以方便的将同步转异步，同时将异步转同步 使用 同步转异步 from chainlit import make_async def my_sync_function(): # Your synchronous code goes here import time t 阅读全文

摘要：我以前简单介绍过poetry 的extras，此模式实际上是可以兼容pip 的，这样我们安装的包就可以通过pip install awesome[databases] 进行处理，group 模式实际上属于poetry 工具自己的特性，方便基于分组模式的依赖管理 poetry extras 参考配置 阅读全文

摘要：context 实际上是一个基于ContextVar 包装的一个变量，可以进行一些上下文信息的共享，同时fastapi 与chainlit 的集成也是基于了context ChainlitContext 定义 可以看到就是一个session ，emitter 以及active_steps 的包装，通 阅读全文

摘要：wrapt 一个方便的python装饰器包，提供了装饰器包装，以及猴子补丁能力，是一个很值得使用的包 一个简单猴子补丁玩法 业务场景 有一个登陆方法，需要进行日志记录，但是不想直接修改原始代码 参考代码 my.py def login(name,password): return f"Welcome 阅读全文

摘要：flit简单快读python 打包工具，使用简单，支持fllat 项目结构以及src 模式的结构 使用 安装 python3 -m pip install flit 支持的cli usage: flit [-h] [-f INI_FILE] [-V] {build,publish,install,i 阅读全文

摘要：内容来自官方文档，主要是一个验证以及记录 环境准备 需要安装llama-cpp-agent 以及启动一个llama-server 安装 pip install llama-cpp-agent 服务启动 Linux 环境自己编译的llama-server llama-server -m rubra-m 阅读全文

摘要：以前说过基于结构化数据配置进行函数调用的，以下是直接使用llama-cpp-agent 自带的StructuredOutputAgent 环境准备 需要安装llama-cpp-agent 以及启动一个llama-server 安装 pip install llama-cpp-agent 服务启动 L 阅读全文

摘要：llama-cpp-agent 兼容llama.cpp 以及llama-cpp-python服务的llm工具 包含的特性 使用简单 结构化输出 单个或者并行函数调用 rag 能力 agent chain 基于grammars 以及json schema 的处理，可以确保大部分7b 的llm 可以支持 阅读全文

摘要：与结构化调用类似，就是一个记录 环境准备 需要安装llama-cpp-agent 以及启动一个llama-server 安装 pip install llama-cpp-agent 服务启动 Linux 环境自己编译的llama-server llama-server -m rubra-mistra 阅读全文

摘要：主要是一个简单测试，记录下 环境准备 需要安装llama-cpp-agent 以及启动一个llama-server 安装 pip install llama-cpp-agent 服务启动 Linux 环境自己编译的llama-server llama-server -m rubra-mistral- 阅读全文

摘要：llama-cpp-python 推荐的玩法是自己编译，以下是关于cuda 支持编译的简单说明 参考构建命令 命令 export CUDACXX=/usr/local/cuda-12.5/bin/nvcc # 此处核心是指定了nvcc 编译器路径，同时安装过cuda-drivers , 还需要配置环 阅读全文

摘要：ollama 在最新的版本中实现了函数调用，但是处理上还是有一些bug 的，llama-cpp-python web server 是利用了llama.cpp web server 同时进行了一些request 的处理，可以更好的兼容openai 支持了tools 函数调用，以下是基于llama-c 阅读全文

摘要：litellm 对于embedding模型的配置实际与普通模式的配置是一样的，embedding 有特定的，同时chat 模型也都有embedding 能力 参考配置 通过proxy 模式 model_list: - model_name: text-embedding-ada-002 litell 阅读全文

摘要：ollama 当前版本对于openai api 的兼容实际上部分是有问题的(目前官方在进行修改，但是暂时还没发布)，我们可以通过litelmm 的proxy 模式提供openaia 兼容的api，同时可以进行灵活的改写（比如openai 的gpt-3.5-turbo 实际使用的是michaelbor 阅读全文

摘要：faster-whisper 通过CTranslate2 对于openai/whisper的tranformer 模型进行了转换，可以提示推理速度，同时还可以进行不同精度的配置 官方目前的测试是有4倍左右的提升，同时可以更好的支持使用cpu 进行推理，同时faster-whisper 可以兼容dis 阅读全文

摘要：以前简单介绍了llm-axe是支持函数调用的，以下是对于ollama 函数调用的简单试用 参考使用 me.py from llm_axe.agents import FunctionCaller from llm_axe.models import OllamaChat import time de 阅读全文

摘要：llm-axe 提供了不少工具类，可以方便进行llm 应用开发 提供的一个能力 自定义agent 函数调用 在线agent pdf 内容读取 数据提取 对象检测（视觉模型） 支持ollama 说明 对于基于ollama 开发应用的场景，llm-axe 提供的一些功能还是很方便的，很值得使用下 参考资 阅读全文

摘要：outlines 结构化文本生成框架 包含的特性 多模型集成，openai，transformers，llama.cpp, exllama2,mamba 基于jinja 模版引擎简单强大的提示词 类型约束，多选择支持 快速正则结构生成 基于json schema 以及pydantic 模型的快速js 阅读全文

摘要：主要是一个简单记录，方便后续使用 安装 pip install -U huggingface_hub 使用 下载模型 huggingface-cli download --resume-download gpt2 --local-dir gpt2 下载数据 huggingface-cli downl 阅读全文

摘要：miniconda 是一个快速安装conda 以及python 环境的工具，很值得使用 安装说明 下载 wget https://repo.anaconda.com/miniconda/Miniconda3-py312_24.5.0-0-Linux-x86_64.sh 安装 sh ./Minicon 阅读全文

摘要：cloudflared tunnel 提供了免费的可以快速将本地服务暴露到互联网的能力，可以方便我们测试，很值得试用下，以下是一个简单测试 简单使用 安装 基于mac 系统 brew install cloudflared 登陆注册 按照提示操作就行，不用付费 cloudflared tunnel 阅读全文

摘要：实际可能会碰到一种场景我们希望进行maven 的打包（比如shade）但是目前项目pom.xml 没有包含plugin 的配置，实际上maven 是可以直接通过maven 坐标模式，使用完整名称进行插件的加载以及执行的 参考使用 命令 以下是对于项目打一个fat jar mvn clean comp 阅读全文

摘要：omniparse 面向文档以及 多媒体资源的数据处理解析以及优化的工具 包含的特性 本地运行 支持10+ 文件类型 转换文旦分多媒体，web 为高质量结构化的markdown 表格提取，图片提取，音视频字幕，web 爬虫 快速部署 提供了api 访问 使用到的一些开源工具 如下，主要是orc ，音 阅读全文

摘要：就在7月低snowflake 的 polaris 代码以及发布到github 了，以下是一些资料可以参考 说明 从介绍上polaris 实际上包含了不少nessie 的能力，后续如果与dremio 的集成，还是值得期待的，在今年dremio 的发布会上，说是会包含一个基于rest catalog 的 阅读全文

摘要：内容来自官方文档，记录下 参考使用 代码 from typing import List from pydantic import BaseModel from openai import OpenAI import instructor class Data(BaseModel): index: 阅读全文

摘要：chatapp stream 模式还是很重要的，现在的llm api 基本都支持stream模式了chainlit 也提供了stream 模式的支持 参考处理 import chainlit as cl from openai import AsyncOpenAI client = AsyncOpe 阅读全文

摘要：以前简单介绍过chainlit 以及litellm 以下是fastapi 集成chainlit ，使用litellm proxy 包装的标准openai 能力（同时还能实现计费） 参考玩法 环境准备 包含了litellm proxy 以及ollama 的比较简单，我就不多介绍了，具体可以通过静态配置 阅读全文

摘要：chainlit 快速ai 聊天开发框架，使用简单 包含的特性 快速开发类似chatgpt 的应用 嵌入chatbot 数据持久化 slack & discord 集成 自动前端界面 api 接口 与其他框架的集成，比如fastapi，langchain，llamaindex， haystack，e 阅读全文

摘要：关于计费我以前简单介绍过，可以通过ui 配置，同时对于计费费用可以使用api 获取，实际上我们可以直接通过api 创建模型的时候进行自定义计费配置，以下是一个简单说明 参考api 定义 使用 通过curl 模式，注意此数据实际会存储到db 中，注意配置文件中关于db 信息的添加 curl -X 'P 阅读全文

摘要：fastapi 集成python-socketio的简单说明 参考使用 安装依赖 pip install fastapi uvicorn python-socketio backend 代码 from fastapi import FastAPI,Body from fastapi.middlewa 阅读全文

摘要：以下简单说明下litellm 对于计费的处理(使用了内置模式，当然litellm 也是可以通过callback 集成外部系统进行计费的) 参考日志信息 (默认配置) 比如集成internlm2 的日志信息 18:05:05 - LiteLLM:ERROR: litellm_logging.py:12 阅读全文

摘要：flagsmith 开源特性开关以及远程配置服务 包含的特性 特性开关 远程配置 a/b 多变量测试 组织管理，项目，角色，团队成员 方便集成 参考资料 https://github.com/Flagsmith/flagsmithhttps://www.flagsmith.com/https://d 阅读全文

摘要：实际上就是基于litellm+ ollama 对于gemma2 包装一个stream rest api ，以下是一个简单说明 参考玩法 基于litellm 对于ollama 的模型实现proxy，同时增强安全控制能力，ollama 集成了qwen2 、gemma2 以及其他模型 litellm pr 阅读全文

摘要：instructor 是一个很不错的llm 结构化输出工具litellm 与instructor 的集成模式实际也包含了两种，一种是基于patch 模式，一种是标准openai 模式，以下简单说明下 patch 模式 import litellm from litellm import Router 阅读全文

摘要：litellm 支持灵活的proxy 模式可以更加方便得控制后端llm 以及特性，以下简单说明下 proxy 使用 对于proxy 实际上就是一个api web sever 目前可以通过两种模式运行，一种是直接cli 指定模型的，还有一种是基于配置文件的 对于简单项目基于cli 是比较快速的方法，如 阅读全文

摘要：superagent 是一个ai agent 开发框架 支持的业务场景 基于文档的问答类系统（大模型微调以及向量存储） chatbots co-pilots 以及ai 助手 内容生成 数据聚合 workflow 自动agent 包含的特性 memory 记忆 streaming python 以及t 阅读全文

摘要：langfuse 是一个开源llm工程平台，提供了可观测性，metrics，评估，提示词管理，playgroud，datasets，可以很好的与llamaindex langchain openai sdk，litellm 以及其他东西集成 说明 langfuse 支持的集成还是很多的，提供了不少语 阅读全文