2024年8月31日

chainlit 集成外部认证的方法

摘要: chainlit 对于auth 上支持了多种模式,比如基于用户密码的,基于header的以及基于oauth 的 对于认证的用户就可以通过session 变量获取信息了,方便后续使用 集中模式说明 用户密码模式 此模式比较简单,核心是按需返回需要的数据,此处可以是基于db 的也可以是基于api 的,使 阅读全文

posted @ 2024-08-31 07:34 荣锋亮 阅读(44) 评论(0) 推荐(0) 编辑

ollama num_ctx 修改问题

摘要: 属于一个比较场景的问题,因为ollama num_ctx 默认是2048 对于比较大的上下文窗口数据会出现被截断的问题 解决方法 目前基本分类两种方法,一种是临时以及持久的,机制上还有一些差异,因为ollama 内部实际也是拉起的llama.cpp 服务 对于调用chat api 可以直接通过api 阅读全文

posted @ 2024-08-31 07:33 荣锋亮 阅读(527) 评论(0) 推荐(0) 编辑

chainlit 异步以及同步转换处理简单说明

摘要: chainlit 提供了工具方法,可以方便的将同步转异步,同时将异步转同步 使用 同步转异步 from chainlit import make_async def my_sync_function(): # Your synchronous code goes here import time t 阅读全文

posted @ 2024-08-31 07:30 荣锋亮 阅读(29) 评论(0) 推荐(0) 编辑

poetry extras 以及group 模式简单说明

摘要: 我以前简单介绍过poetry 的extras,此模式实际上是可以兼容pip 的,这样我们安装的包就可以通过pip install awesome[databases] 进行处理,group 模式实际上属于poetry 工具自己的特性,方便基于分组模式的依赖管理 poetry extras 参考配置 阅读全文

posted @ 2024-08-31 07:30 荣锋亮 阅读(33) 评论(0) 推荐(0) 编辑

chainlit context 简单说明

摘要: context 实际上是一个基于ContextVar 包装的一个变量,可以进行一些上下文信息的共享,同时fastapi 与chainlit 的集成也是基于了context ChainlitContext 定义 可以看到就是一个session ,emitter 以及active_steps 的包装,通 阅读全文

posted @ 2024-08-31 07:30 荣锋亮 阅读(34) 评论(0) 推荐(0) 编辑

wrapt 一个方便的python装饰器包

摘要: wrapt 一个方便的python装饰器包,提供了装饰器包装,以及猴子补丁能力,是一个很值得使用的包 一个简单猴子补丁玩法 业务场景 有一个登陆方法,需要进行日志记录,但是不想直接修改原始代码 参考代码 my.py def login(name,password): return f"Welcome 阅读全文

posted @ 2024-08-31 07:29 荣锋亮 阅读(20) 评论(0) 推荐(0) 编辑

flit简单快读python 打包工具

摘要: flit简单快读python 打包工具,使用简单,支持fllat 项目结构以及src 模式的结构 使用 安装 python3 -m pip install flit 支持的cli usage: flit [-h] [-f INI_FILE] [-V] {build,publish,install,i 阅读全文

posted @ 2024-08-31 07:29 荣锋亮 阅读(32) 评论(0) 推荐(0) 编辑

llama-cpp-agent map chain 示例

摘要: 内容来自官方文档,主要是一个验证以及记录 环境准备 需要安装llama-cpp-agent 以及启动一个llama-server 安装 pip install llama-cpp-agent 服务启动 Linux 环境自己编译的llama-server llama-server -m rubra-m 阅读全文

posted @ 2024-08-31 07:29 荣锋亮 阅读(11) 评论(0) 推荐(0) 编辑

导航