随笔分类 - 大语言模型
摘要：一 简介 Chroma是一款AI开源向量数据库，用于快速构建基于LLM的应用，支持Python和Javascript语言。具备轻量化、快速安装等特点，可与Langchain、LlamaIndex等知名LLM框架组合使用。 二 基本用法 1 安装 安装方式非常简单，只需要一行命令 pip instak
阅读全文
摘要：为什么要用LLM构建数据标注工具 在LLM出现之前，传统的深度学习模型（包括CV和NLP）就已经需要大量的数据进行训练和微调。没有足够的数据，或者数据需要进行二次加工（比如标签标注），这些问题都成为限制深度学习模型泛化的关键。对于第一个问题，一般就是从网络上爬虫或者花大价钱从数据供应商购买数据；对于
阅读全文
摘要：整理 本文整理了一些简单的文本切分方式，适用于大语言模型经典应用RAG或相似场景。 一般切分 如果不借助任何包，很容易想到如下切分方案： text = "我是一个名为 ChatGLM3-6B 的人工智能助手，是基于清华大学 KEG 实验室和智谱 AI 公司于 2023 年共同训练的语言模型开发的。我
阅读全文
摘要：一 模型介绍 向量模型用于生成向量表示，被广泛应用于检索、分类、聚类或语义匹配等传统的自然语言处理任务。到了大模型时代，由于上下文长度的限制，需要压缩、存储和查询大量的信息，这就需要用到向量模型对输入的文本进行向量化表示，然后再喂给大模型，以得到期望的输出。更长的向量模型输入的长度可以提高 RAG
阅读全文
