2024年7月3日
LLM大模型: RAG的最优chunk方法 — 利用本地离线LLM的embedding实现Semantic Chunking
摘要： 1、RAG整个流程的核心节点如下： 第一个重要的节点就是chunk。chunk最核心的目的就是把相同语义的token聚集在一起，不同语义的token互相分开，利于后续的retrieve和rerank。举个例子：今天天气很好，我和小明在一起打篮球。隔壁老王在家里看电视。小明的妈妈在家里做晚饭，晚上我去 阅读全文
posted @ 2024-07-03 09:26 第七子007 阅读(3840) 评论(0) 推荐(0) 编辑