04 2024 档案
摘要:ChatGPT使用指南——文本推理 推理的类型 相关资料:Logical Reasoning (fibonicci.com) 常见的推理类型主要包含3种,即亚里士多德在公元前的《前分析篇》中列举了推理的三种类型,为演绎、归纳以及溯回。 演绎推理 一般来说,演绎推理是指使用一组给定的事实或数据,通过逻
阅读全文
摘要:个人知识库助手 本文基于datawhale开源学习项目:llm-universe/docs/C6 at main · datawhalechina/llm-universe (github.com) 获取数据库 该项目llm-universe个人知识库助手选用 Datawhale 一些经典开源课程、
阅读全文
摘要:评估 LLM 应用 1.一般评估思路 首先,你会在一到三个样本的小样本中调整 Prompt ,尝试使其在这些样本上起效。 随后,当你对系统进行进一步测试时,可能会遇到一些棘手的例子,这些例子无法通过 Prompt 或者算法解决。 最终,你会将足够多的这些例子添加到你逐步扩大的开发集中,以至于手动运行
阅读全文
摘要:llm接入langchain 示例-llm作为翻译助手 接入chatgpt到langchain,使用普通写法和Langchain的表达式语言写法 (LCEL)。 import os import openai from dotenv import load_dotenv, find_dotenv f
阅读全文
摘要:ChatGPT基础科普——知其一点所以然 词向量 词向量(词嵌入):它本质上是找到一种编码方式,实现从自然语言中到数学空间的映射。(自然语言 -映射-> 向量) 我们为什么需要词向量呢? 计算机不能理解自然语言,比如:“我爱你”,要让计算机理解需要: 数字“1”代表“我”,数字“2”代表“爱”,数字
阅读全文
摘要:Chroma入门 使用chroma构建向量数据库。使用了两种embedding模型,可供自己选择。 本地embedding:SentenceTransformerEmbeddings(model_name="all-MiniLM-L6-v2") 封装智谱embedding使得其可以在langchai
阅读全文
摘要:常见 prompt 技巧 # 两个原则 1.明确且具体的指令 具体的指令不等于短指令,长指令往往能提供更高的清晰度 1.使用分隔符划分不同的文本内容 2.请求模型输出HTML或者JSON格式 3.使用类似于异常捕获的理念,教会模型处理文本中遇到的不同情况 4.给模型提供少量示例,相当于让模型模仿着示
阅读全文
摘要:词向量和向量数据库 词向量(Embeddings)是一种将非结构化数据,如单词、句子或者整个文档,转化为实数向量的技术。 词向量搜索和关键词搜索的比较 优势1:词向量可以语义搜索 比如百度搜索,使用的是关键词搜索。而词向量搜索,是对句子的语义进行搜索,他会找到意思相近的前k个句子。 优势2:词向量可
阅读全文