摘要：
什么是Ollama Ollama是一款免费开源的工具，拥有开箱即用的大模型，省去安装环境和下载模型的步骤，让零基础的人也能用起大模型。 项目地址 下载方法 通过下载链接可以找到对应的操作系统的下载版本，而且访问该网站不受限制，不需要神秘力量。 对于Mac和Win，可以直接通过点击下载桌面客户端，非常 阅读全文
摘要：
为什么要用LLM构建数据标注工具 在LLM出现之前，传统的深度学习模型（包括CV和NLP）就已经需要大量的数据进行训练和微调。没有足够的数据，或者数据需要进行二次加工（比如标签标注），这些问题都成为限制深度学习模型泛化的关键。对于第一个问题，一般就是从网络上爬虫或者花大价钱从数据供应商购买数据；对于 阅读全文
摘要：
整理 本文整理了一些简单的文本切分方式，适用于大语言模型经典应用RAG或相似场景。 一般切分 如果不借助任何包，很容易想到如下切分方案： text = "我是一个名为 ChatGLM3-6B 的人工智能助手，是基于清华大学 KEG 实验室和智谱 AI 公司于 2023 年共同训练的语言模型开发的。我 阅读全文
摘要：
语料准备 选择了一篇新闻稿，有比较明显的段落区分，每个段落由若干句子构成，可用于验证切分效果。 # 节气释义 小寒，是二十四节气中的第二十三个节气，太阳到达黄经285度时开始。 《月令七十二候集解》中说：“十二月节，月初寒尚小，故云。月半则大矣。”冷气积久而寒，小寒是天气寒冷但还没有到极点的意思。 阅读全文
摘要：
一 模型介绍 向量模型用于生成向量表示，被广泛应用于检索、分类、聚类或语义匹配等传统的自然语言处理任务。到了大模型时代，由于上下文长度的限制，需要压缩、存储和查询大量的信息，这就需要用到向量模型对输入的文本进行向量化表示，然后再喂给大模型，以得到期望的输出。更长的向量模型输入的长度可以提高 RAG 阅读全文