随笔分类 -  人工智能

摘要:1、传统RAG检索的问题 在 https://www.cnblogs.com/twosedar/p/19036833 中讲述了为什么RAG技术可以缓解大模型知识固化和幻觉问题。 但是传统RAG技术存在一个天然缺陷,即信息检索可能不准确或者不全面。具体原因可以通过下图中一个简化的例子来看一下: 第①步 阅读全文
posted @ 2025-08-31 09:44 两棵雪松 阅读(54) 评论(0) 推荐(0)
摘要:为什么快?为方便理解,用相对通俗的话来讲(不一定精确) 第一招:不查全库,只查重点区域 想象你要在1000本书里找一句话。传统方法是每本书都翻一遍(暴力搜索),而Faiss会先把书按主题分类:编程书放A区,小说放B区,历史书放C区… 当你要找“如何写Python循环”时,它直奔编程区(A区),只翻这 阅读全文
posted @ 2025-07-17 23:07 两棵雪松 阅读(64) 评论(0) 推荐(0)
摘要:1. Faiss能解决什么问题? 为了比较两个非结构化的数据是否相似,例如两张图片是不是类似,两段文本表达的含义是否类似,则需要将非结构化的数据先转成向量数据,然后再进行相似度比较。 如何通过向量化技术比较非结构化数据,可以参考:https://www.cnblogs.com/twosedar/p/ 阅读全文
posted @ 2025-07-13 11:43 两棵雪松 阅读(590) 评论(0) 推荐(0)
摘要:你有没有过这样的经历:想知道两篇文章是否在讲同一个主题?或者判断两段文本的意思是否接近?比如检查实习生写的报告是否存在抄袭,或者进行论文查重? 通过向量化技术即可解决这个问题。 一、首先需要将文字段落转换为向量 为什么要把文本变成"向量"?因为计算机无法直接理解人类文字,只能处理数字。例如“苹果”这 阅读全文
posted @ 2025-07-08 21:05 两棵雪松 阅读(1547) 评论(2) 推荐(9)
摘要:在 https://www.cnblogs.com/twosedar/p/18957931 一文中,介绍了对向量的理解,那么向量数据真正长什么样子呢?如何将一段非结构化的数据,例如文本,转换为向量数据呢? 以下是一个简单的示例: 如果用Python语言编程,则需要用到Sentence Transfo 阅读全文
posted @ 2025-07-02 22:23 两棵雪松 阅读(924) 评论(0) 推荐(3)
摘要:1. 什么是向量,向量的本质是什么? 想象你走进一家咖啡店,想点一杯咖啡。咖啡的口味、价格、甜度就是一些 “属性”。如果把这些属性用数字表示,比如美式咖啡(苦味 8 分,价格 25 元,甜度 0 分),这组数字[8,25,0]就组成了一个 “向量”。简单来说,向量就是一组有序的数字,它能用来描述事物 阅读全文
posted @ 2025-06-30 15:41 两棵雪松 阅读(943) 评论(0) 推荐(7)
摘要:DeepSeek是国内大模型技术的新秀,最近也在业界和媒体界火爆出圈,所以想学习一下其技术。 大模型时代,学习知识,当然首先想到利用大模型,由于在过去一年,对DeepSeek使用不多,所以想和文新一言(4.0 Turbo)对比使用。 通过对比,针对同一个问题“DeepSeek发扬开源文化,将核心技术 阅读全文
posted @ 2025-02-01 09:03 两棵雪松 阅读(1126) 评论(1) 推荐(1)