07 2024 档案

摘要:多年前搞大数据,因为单节点无力存储和计算PB级别的数据,所以hadoop这种分布式存储和计算框架是标配!如今搞大模型,仍然需要对大量样本数据做计算,因为涉及矩阵运算,单机单卡运算效率太低,也涉及到分布式计算了,大模型时代的分布式pre-train和Inference框架就有现成的—deepspeed 阅读全文
posted @ 2024-07-28 23:29 第七子007 阅读(1888) 评论(0) 推荐(0) 编辑
摘要:1、众所周知,transformer架构取得了巨大的成功,核心原因之一就是attention的引入。当年那篇论文的名称就叫attention is all you need,可见attention机制在transformer中的巨大作用!attention的计算示意图如下: 同一个sequence中 阅读全文
posted @ 2024-07-22 17:36 第七子007 阅读(3427) 评论(0) 推荐(0) 编辑
摘要:1、有些模型比较大,推理时的效果还不错,但非常耗费计算资源;并且产生token的速度也很慢,大概1秒1个token(我的RAG在最后一步使用的secGPT-13B大概就是这个速度),一个问题回答完毕要耗费分钟级别的时间,用户直接抓狂,继续提升推理的速度! 大模型本质是大量的矩阵运算,想要提高效率,就 阅读全文
posted @ 2024-07-16 17:00 第七子007 阅读(1717) 评论(0) 推荐(0) 编辑
摘要:LLM的三大要素: 算力:算力的本质是拼财力,普通人是无力改变的; 算法/模型结构:目前最流行的还是transformer架构, 各种LLM都是基于transformer改细节,暂时没有用新的框架替代transformer。至于后续manba会不会替代transformer架构,有待观察! 数据:这 阅读全文
posted @ 2024-07-10 23:13 第七子007 阅读(3294) 评论(0) 推荐(0) 编辑
摘要:要想RAG好,embedding和reranker必须给力!目前市面上流行的embedding和reranker使用的都是通用预料训练,并未针对安全这个细分领域定制,所以有必要使用安全领域的预料微调一下!目前所有的预料中,获取成本比较低、并且不需要专门投入人力标注的有两种: 网上各种安全论坛的博客、 阅读全文
posted @ 2024-07-07 23:24 第七子007 阅读(2309) 评论(0) 推荐(0) 编辑
摘要:截至目前,RAG最大的缺陷就是无法回答总结性的问题了。上篇文章(https://www.cnblogs.com/theseventhson/p/18281227)介绍了RAPTOR方法(利用GMM高斯混合模型对chunk聚类,然后再用LLM对每个cluster概括总结摘要)提取cluster的语义, 阅读全文
posted @ 2024-07-05 17:19 第七子007 阅读(1775) 评论(4) 推荐(1) 编辑
摘要:1、RAG有很多优点,但是缺点也很明显,其中一个硬伤就是:只会“断章取义”!如果文本有明确的答案,现有的retrieve方式大概率能找到,但是如果文本没有明确的答案了?比如android逆向和windows逆向,哪个更有钱途?很多资料会介绍android逆向、windows逆向的原理和技术细节,但是 阅读全文
posted @ 2024-07-04 14:50 第七子007 阅读(726) 评论(0) 推荐(0) 编辑
摘要:1、RAG整个流程的核心节点如下: 第一个重要的节点就是chunk。chunk最核心的目的就是把相同语义的token聚集在一起,不同语义的token互相分开,利于后续的retrieve和rerank。举个例子:今天天气很好,我和小明在一起打篮球。隔壁老王在家里看电视。小明的妈妈在家里做晚饭,晚上我去 阅读全文
posted @ 2024-07-03 09:26 第七子007 阅读(5693) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示