摘要：就在今天dremio 发布了25.1 版本（社区版）同时提供了docker镜像以及下载地址 说明 目前官方还缺少release note 说明，目前来说github 代码尽管提交了，但是不是新的（只更新了maven package version），从简单测试上，的确有一些bug 修复，但是目前官方 阅读全文

摘要：简单记录下，目前不少内部都会使用到langchain（毕竟提供了不少现在方便的工具包装） ，同时对于web 内容处理很多也会选择基于无头浏览器模式，对于html 内容为了方便llm 处理好多框架会优先转换为markdown 格式的，对于长内容同时也会进行chunk 拆分，规避大模型上下文限制问题 说 阅读全文

摘要：typer 是一个基于python type hints 的快速强大的cli 开发框架，由fastapi 框架的作者开发，是一个很不错的工具 包含的特性 使用简单 简单 支持开发复杂cli 可以执行运行script 参考使用 安装 python -m venv venv source venv/bi 阅读全文

摘要：unstract 无代码运行api 以及etl pipeline 进行数据结构化的llm平台 参考处理流程 分三步 通过prompt studio 进行提示词的处理，定义需要提取的字段 配置项目做为api 或者配置输入输出etl pipeline 部署data api 或者etl pipeline 阅读全文

摘要：结构化输出对于LLM 是一个比较重要的功能，以下是一个开源不错的工具，可以方便使用 简单说明 outlines以及instructor 是很不错的工具对于基于api 的推荐使用instructor，kor 以及langchain 集成比较好guardrails 也算是一个不错的工具提供了结构化输出的 阅读全文

摘要：guardrails ai 提供了的llm 校验能力，同时提供了一个hub 平台，可以方便使用一些现成的validators 特性 guardrails ai 对于input 以及output 进行check，确保数据的准确性，减少风险 guardrails ai 可以帮助生成结构化数据 包含了一个 阅读全文

摘要：chainlit 对于auth 上支持了多种模式，比如基于用户密码的，基于header的以及基于oauth 的 对于认证的用户就可以通过session 变量获取信息了，方便后续使用 集中模式说明 用户密码模式 此模式比较简单，核心是按需返回需要的数据，此处可以是基于db 的也可以是基于api 的,使 阅读全文

摘要：属于一个比较场景的问题，因为ollama num_ctx 默认是2048 对于比较大的上下文窗口数据会出现被截断的问题 解决方法 目前基本分类两种方法，一种是临时以及持久的，机制上还有一些差异，因为ollama 内部实际也是拉起的llama.cpp 服务 对于调用chat api 可以直接通过api 阅读全文

摘要：chainlit 提供了工具方法，可以方便的将同步转异步，同时将异步转同步 使用 同步转异步 from chainlit import make_async def my_sync_function(): # Your synchronous code goes here import time t 阅读全文

摘要：我以前简单介绍过poetry 的extras，此模式实际上是可以兼容pip 的，这样我们安装的包就可以通过pip install awesome[databases] 进行处理，group 模式实际上属于poetry 工具自己的特性，方便基于分组模式的依赖管理 poetry extras 参考配置 阅读全文

摘要：context 实际上是一个基于ContextVar 包装的一个变量，可以进行一些上下文信息的共享，同时fastapi 与chainlit 的集成也是基于了context ChainlitContext 定义 可以看到就是一个session ，emitter 以及active_steps 的包装，通 阅读全文

摘要：wrapt 一个方便的python装饰器包，提供了装饰器包装，以及猴子补丁能力，是一个很值得使用的包 一个简单猴子补丁玩法 业务场景 有一个登陆方法，需要进行日志记录，但是不想直接修改原始代码 参考代码 my.py def login(name,password): return f"Welcome 阅读全文

摘要：flit简单快读python 打包工具，使用简单，支持fllat 项目结构以及src 模式的结构 使用 安装 python3 -m pip install flit 支持的cli usage: flit [-h] [-f INI_FILE] [-V] {build,publish,install,i 阅读全文

摘要：内容来自官方文档，主要是一个验证以及记录 环境准备 需要安装llama-cpp-agent 以及启动一个llama-server 安装 pip install llama-cpp-agent 服务启动 Linux 环境自己编译的llama-server llama-server -m rubra-m 阅读全文

摘要：以前说过基于结构化数据配置进行函数调用的，以下是直接使用llama-cpp-agent 自带的StructuredOutputAgent 环境准备 需要安装llama-cpp-agent 以及启动一个llama-server 安装 pip install llama-cpp-agent 服务启动 L 阅读全文

摘要：llama-cpp-agent 兼容llama.cpp 以及llama-cpp-python服务的llm工具 包含的特性 使用简单 结构化输出 单个或者并行函数调用 rag 能力 agent chain 基于grammars 以及json schema 的处理，可以确保大部分7b 的llm 可以支持 阅读全文

摘要：与结构化调用类似，就是一个记录 环境准备 需要安装llama-cpp-agent 以及启动一个llama-server 安装 pip install llama-cpp-agent 服务启动 Linux 环境自己编译的llama-server llama-server -m rubra-mistra 阅读全文

摘要：主要是一个简单测试，记录下 环境准备 需要安装llama-cpp-agent 以及启动一个llama-server 安装 pip install llama-cpp-agent 服务启动 Linux 环境自己编译的llama-server llama-server -m rubra-mistral- 阅读全文

摘要：llama-cpp-python 推荐的玩法是自己编译，以下是关于cuda 支持编译的简单说明 参考构建命令 命令 export CUDACXX=/usr/local/cuda-12.5/bin/nvcc # 此处核心是指定了nvcc 编译器路径，同时安装过cuda-drivers , 还需要配置环 阅读全文

摘要：ollama 在最新的版本中实现了函数调用，但是处理上还是有一些bug 的，llama-cpp-python web server 是利用了llama.cpp web server 同时进行了一些request 的处理，可以更好的兼容openai 支持了tools 函数调用，以下是基于llama-c 阅读全文