RAG（4）：自动合并检索Auto-merging Retrieval
摘要：自动合并检索的使用 from llama_index import Document document = Document(text="\n\n".join([doc.text for doc in documents])) from llama_index.node_parser import
阅读全文
posted @
2025-02-21 16:51
CharXL
阅读(3)
推荐(0) 编辑
RAG（3）：句子窗口检索Sentence Window Retrieval
摘要：使用句窗检索 句窗检索机制同基本RAG对比 # 设置句窗检索 ## 1.创建句窗节点解析器 from llama_index.node_parser import SentenceWindowNodeParser ## 将文档分割为句子，并利用句子周围的上下文增强句子块 # create the s
阅读全文
posted @
2025-02-21 16:49
CharXL
阅读(6)
推荐(0) 编辑
RAG（2）：三合一评估标准Triad of metrics
摘要：答案相关性Answer relevance # 1.答案相关性 ## 初始化设置 import nest_asyncio from trulens_eval import OpenAI as fOpenAI from trulens_eval import Feedback nest_asyncio
阅读全文
posted @
2025-02-21 16:47
CharXL
阅读(1)
推荐(0) 编辑
RAG（1）：管道Pipeline
摘要：基础的RAG Pipeline # 设置RGA基本管道 from llama_index import SimpleDirectoryReader from llama_index import Document from llama_index import VectorStoreIndex fr
阅读全文
posted @
2025-02-21 16:45
CharXL
阅读(4)
推荐(0) 编辑
langchain（6）：代理Agent
摘要：llm使用从互联网上学习的各类背景知识，同时利用你提供的新信息来帮助你回答问题、推理内容、决定下一步操作等 # 使用llm作为agent的推理引擎，其连接到其他数据和计算资源 # 所以将temperature设置为0，希望结果尽可能好和精确，消除随机性 llm = ChatOpenAI(temper
阅读全文
posted @
2025-02-21 16:05
CharXL
阅读(3)
推荐(0) 编辑
langchain（5）：评估
摘要：评估结果的好坏 （llm+）链评估其他llm、其他链和其他应用 评估链 用什么数据集评估，通过查看数据创建评估问题 # 方法1，通过观察不同数据集创建对应的QA examples = [ { "query": "Do the Cozy Comfort Pullover Set\ have side
阅读全文
posted @
2025-02-21 16:04
CharXL
阅读(3)
推荐(0) 编辑
langchain（4）：基于文档的问答
摘要：给定pdf、网页或公司内部文档库中提取的文本，使用llm回答关于这些文档内容的问题，llm+没被训练的数据 1.导入环境变量和需要用到的库 # 环境变量 import os from dotenv import load_dotenv, find_dotenv _ = load_dotenv(fin
阅读全文
posted @
2025-02-21 16:03
CharXL
阅读(3)
推荐(0) 编辑
langchain（3）：链
摘要：llm chain：它会在后台格式化提示词，然后将格式化后的提示词传给llm prompt = ChatPromptTemplate.from_template( "What is the best name to describe \ a company that makes {product}?
阅读全文
posted @
2025-02-21 16:00
CharXL
阅读(3)
推荐(0) 编辑
langchain（2）：记忆
摘要：# 预设置 llm = ChatOpenAI(temperature=0.0, model=llm_model) memory = ConversationBufferMemory() conversation = ConversationChain( llm=llm, memory = memor
阅读全文
posted @
2025-02-21 15:57
CharXL
阅读(4)
推荐(0) 编辑
langchain（1）：模型、提示和输出解析器
摘要：使用f””” “””来指定和说明提示词 确定风格和需要修改的文本 如果可以建立一个prompt让llm使用如上图所示的特定关键词（思维链），那这个prompt可以同解析器结合，提取出特定关键词标记的文本，目的是抽象的指定llm的输入，然后让解析器正确的解释llm的输出 流程： 设置llm输出要求提示
阅读全文
posted @
2025-02-21 15:55
CharXL
阅读(2)
推荐(0) 编辑
