随笔分类 -  machine learning && LLM

上一页 1 2 3 4 5 6 7 下一页

机器学习&&LLM
pandas-ai 基于LLM进行数据分析的python 框架
摘要：pandas-ai 基于LLM进行数据分析的python 框架 包含的特性 基于自然语言的数据查询 数据可视化 数据清理 特征生成 数据链接（支持链接多种不同的数据源） 说明 对于基于数据分析的场景pandas-ai 是一个值得尝试的工具，同时官方也微调了一个BambooLLM 的模型（基于mist 阅读全文

posted @ 2024-09-13 00:03 荣锋亮 阅读(131) 评论(0) 推荐(0) 编辑

PraisonAI 一个快速ai 开发集成工具
摘要：PraisonAI 一个快速ai 开发集成工具，在新版本中PraisonAI 基于unsloth 提供了快速大模型微调训练能力 训练参考使用 核心是包装的unsloth 命令 praisonai train --model unsloth/Meta-Llama-3.1-8B-Instruct-bnb 阅读全文

posted @ 2024-09-12 08:00 荣锋亮 阅读(129) 评论(0) 推荐(0) 编辑

chainlit 持久化配置问题 null value in column "disableFeedback" of relation "steps"
摘要：实际上此问题在github 上已经存在了，解决方法很简单，就是对于sql 配置的去掉不能为空的判定 参考sql 修改 CREATE TABLE IF NOT EXISTS steps ( "id" UUID PRIMARY KEY, "name" TEXT NOT NULL, "type" TEXT 阅读全文

posted @ 2024-09-11 08:00 荣锋亮 阅读(19) 评论(0) 推荐(0) 编辑

chainlit s3 minio 存储集成配置
摘要：chainlit s3 默认对于minio 的支持没有明确说明，但是我们可以通过配置解决（环境变量以及~/.aws/config 都可以） 使用 代码配置 import chainlit as cl import chainlit.data as cl_data from chainlit.data 阅读全文

posted @ 2024-09-10 07:28 荣锋亮 阅读(61) 评论(0) 推荐(0) 编辑

litellm proxy ui 的处理
摘要：litellm proxy ui 关于static 的处理是基于了fastapi 的StaticFiles，使用了绝对路径配置的，以下是一个简单说明 参考代码 litellm/proxy/proxy_server.py current_dir = os.path.dirname(os.path.ab 阅读全文

posted @ 2024-09-09 00:03 荣锋亮 阅读(37) 评论(0) 推荐(0) 编辑

trafilatura python web 数据获取库
摘要：trafilatura python web 数据获取库，比较适合进行爬虫，数据提取，支持输出数据为csv，json，html，md，txt，xml 包含的特性 高级web 爬虫以及文本发现 并行处理在线以及离线输入内容 灵活的配置支持，包含了元数据，格式，链接，表格 多输出格式，包含了文本，mar 阅读全文

posted @ 2024-09-07 07:37 荣锋亮 阅读(70) 评论(0) 推荐(0) 编辑

一些基于LLM可以进行web 检索的开源工具
摘要：简单记录下，目前不少内部都会使用到langchain（毕竟提供了不少现在方便的工具包装） ，同时对于web 内容处理很多也会选择基于无头浏览器模式，对于html 内容为了方便llm 处理好多框架会优先转换为markdown 格式的，对于长内容同时也会进行chunk 拆分，规避大模型上下文限制问题 说 阅读全文

posted @ 2024-09-05 08:00 荣锋亮 阅读(187) 评论(0) 推荐(0) 编辑

unstract 无代码运行api 以及etl pipeline 进行数据结构化的llm平台
摘要：unstract 无代码运行api 以及etl pipeline 进行数据结构化的llm平台 参考处理流程 分三步 通过prompt studio 进行提示词的处理，定义需要提取的字段 配置项目做为api 或者配置输入输出etl pipeline 部署data api 或者etl pipeline 阅读全文

posted @ 2024-09-03 07:15 荣锋亮 阅读(131) 评论(0) 推荐(0) 编辑

一些不错的LLM 结构化输出库
摘要：结构化输出对于LLM 是一个比较重要的功能，以下是一个开源不错的工具，可以方便使用 简单说明 outlines以及instructor 是很不错的工具对于基于api 的推荐使用instructor，kor 以及langchain 集成比较好guardrails 也算是一个不错的工具提供了结构化输出的 阅读全文

posted @ 2024-09-02 08:00 荣锋亮 阅读(148) 评论(0) 推荐(0) 编辑

guardrailsai llm 校验工具
摘要：guardrails ai 提供了的llm 校验能力，同时提供了一个hub 平台，可以方便使用一些现成的validators 特性 guardrails ai 对于input 以及output 进行check，确保数据的准确性，减少风险 guardrails ai 可以帮助生成结构化数据 包含了一个 阅读全文

posted @ 2024-09-01 06:35 荣锋亮 阅读(22) 评论(0) 推荐(0) 编辑

chainlit 集成外部认证的方法
摘要：chainlit 对于auth 上支持了多种模式，比如基于用户密码的，基于header的以及基于oauth 的 对于认证的用户就可以通过session 变量获取信息了，方便后续使用 集中模式说明 用户密码模式 此模式比较简单，核心是按需返回需要的数据，此处可以是基于db 的也可以是基于api 的,使 阅读全文

posted @ 2024-08-31 07:34 荣锋亮 阅读(102) 评论(0) 推荐(0) 编辑

ollama num_ctx 修改问题
摘要：属于一个比较场景的问题，因为ollama num_ctx 默认是2048 对于比较大的上下文窗口数据会出现被截断的问题 解决方法 目前基本分类两种方法，一种是临时以及持久的，机制上还有一些差异，因为ollama 内部实际也是拉起的llama.cpp 服务 对于调用chat api 可以直接通过api 阅读全文

posted @ 2024-08-31 07:33 荣锋亮 阅读(1978) 评论(0) 推荐(0) 编辑

chainlit 异步以及同步转换处理简单说明
摘要：chainlit 提供了工具方法，可以方便的将同步转异步，同时将异步转同步 使用 同步转异步 from chainlit import make_async def my_sync_function(): # Your synchronous code goes here import time t 阅读全文

posted @ 2024-08-31 07:30 荣锋亮 阅读(51) 评论(0) 推荐(0) 编辑

chainlit context 简单说明
摘要：context 实际上是一个基于ContextVar 包装的一个变量，可以进行一些上下文信息的共享，同时fastapi 与chainlit 的集成也是基于了context ChainlitContext 定义 可以看到就是一个session ，emitter 以及active_steps 的包装，通 阅读全文

posted @ 2024-08-31 07:30 荣锋亮 阅读(56) 评论(0) 推荐(0) 编辑

llama-cpp-agent map chain 示例
摘要：内容来自官方文档，主要是一个验证以及记录 环境准备 需要安装llama-cpp-agent 以及启动一个llama-server 安装 pip install llama-cpp-agent 服务启动 Linux 环境自己编译的llama-server llama-server -m rubra-m 阅读全文

posted @ 2024-08-31 07:29 荣锋亮 阅读(14) 评论(0) 推荐(0) 编辑

llama-cpp-agent 通过结构化agent 生成数据
摘要：以前说过基于结构化数据配置进行函数调用的，以下是直接使用llama-cpp-agent 自带的StructuredOutputAgent 环境准备 需要安装llama-cpp-agent 以及启动一个llama-server 安装 pip install llama-cpp-agent 服务启动 L 阅读全文

posted @ 2024-08-30 07:19 荣锋亮 阅读(62) 评论(0) 推荐(0) 编辑

llama-cpp-agent 兼容llama.cpp 以及llama-cpp-python服务的llm工具
摘要：llama-cpp-agent 兼容llama.cpp 以及llama-cpp-python服务的llm工具 包含的特性 使用简单 结构化输出 单个或者并行函数调用 rag 能力 agent chain 基于grammars 以及json schema 的处理，可以确保大部分7b 的llm 可以支持 阅读全文

posted @ 2024-08-29 07:26 荣锋亮 阅读(63) 评论(0) 推荐(0) 编辑

llama-cpp-agent 函数调用agent 进行函数调用
摘要：与结构化调用类似，就是一个记录 环境准备 需要安装llama-cpp-agent 以及启动一个llama-server 安装 pip install llama-cpp-agent 服务启动 Linux 环境自己编译的llama-server llama-server -m rubra-mistra 阅读全文

posted @ 2024-08-28 07:37 荣锋亮 阅读(95) 评论(0) 推荐(0) 编辑

llama-cpp-agent 通过构结构化输出实现函数调用
摘要：主要是一个简单测试，记录下 环境准备 需要安装llama-cpp-agent 以及启动一个llama-server 安装 pip install llama-cpp-agent 服务启动 Linux 环境自己编译的llama-server llama-server -m rubra-mistral- 阅读全文

posted @ 2024-08-27 08:00 荣锋亮 阅读(54) 评论(0) 推荐(0) 编辑

llama-cpp-python web server cuda 编译安装简单说明
摘要：llama-cpp-python 推荐的玩法是自己编译，以下是关于cuda 支持编译的简单说明 参考构建命令 命令 export CUDACXX=/usr/local/cuda-12.5/bin/nvcc # 此处核心是指定了nvcc 编译器路径，同时安装过cuda-drivers , 还需要配置环 阅读全文

posted @ 2024-08-26 08:00 荣锋亮 阅读(193) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 7 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示