摘要：
多年前搞大数据，因为单节点无力存储和计算PB级别的数据，所以hadoop这种分布式存储和计算框架是标配！如今搞大模型，仍然需要对大量样本数据做计算，因为涉及矩阵运算，单机单卡运算效率太低，也涉及到分布式计算了，大模型时代的分布式pre-train和Inference框架就有现成的—deepspeed 阅读全文
摘要：
1、众所周知，transformer架构取得了巨大的成功，核心原因之一就是attention的引入。当年那篇论文的名称就叫attention is all you need，可见attention机制在transformer中的巨大作用！attention的计算示意图如下： 同一个sequence中 阅读全文
摘要：
1、有些模型比较大，推理时的效果还不错，但非常耗费计算资源；并且产生token的速度也很慢，大概1秒1个token(我的RAG在最后一步使用的secGPT-13B大概就是这个速度)，一个问题回答完毕要耗费分钟级别的时间，用户直接抓狂，继续提升推理的速度！ 大模型本质是大量的矩阵运算，想要提高效率，就 阅读全文
摘要：
LLM的三大要素： 算力：算力的本质是拼财力，普通人是无力改变的； 算法/模型结构：目前最流行的还是transformer架构， 各种LLM都是基于transformer改细节，暂时没有用新的框架替代transformer。至于后续manba会不会替代transformer架构，有待观察！ 数据：这 阅读全文
摘要：
要想RAG好，embedding和reranker必须给力！目前市面上流行的embedding和reranker使用的都是通用预料训练，并未针对安全这个细分领域定制，所以有必要使用安全领域的预料微调一下！目前所有的预料中，获取成本比较低、并且不需要专门投入人力标注的有两种： 网上各种安全论坛的博客、 阅读全文
摘要：
截至目前，RAG最大的缺陷就是无法回答总结性的问题了。上篇文章（https://www.cnblogs.com/theseventhson/p/18281227）介绍了RAPTOR方法(利用GMM高斯混合模型对chunk聚类，然后再用LLM对每个cluster概括总结摘要)提取cluster的语义， 阅读全文
摘要：
1、RAG有很多优点，但是缺点也很明显，其中一个硬伤就是：只会“断章取义”！如果文本有明确的答案，现有的retrieve方式大概率能找到，但是如果文本没有明确的答案了？比如android逆向和windows逆向，哪个更有钱途？很多资料会介绍android逆向、windows逆向的原理和技术细节，但是 阅读全文
摘要：
1、RAG整个流程的核心节点如下： 第一个重要的节点就是chunk。chunk最核心的目的就是把相同语义的token聚集在一起，不同语义的token互相分开，利于后续的retrieve和rerank。举个例子：今天天气很好，我和小明在一起打篮球。隔壁老王在家里看电视。小明的妈妈在家里做晚饭，晚上我去 阅读全文
摘要：
RAG的效果好不好，最核心依赖两点：文本embedding语义提取的好不好，rerank的排序效果好不好（包含正确答案的文本是不是排在前面）！各自使用的环节如下： 1、文本embedding的提取：理论上讲，任何transformer架构的encoder部分都可用于生成token的embedding 阅读全文
摘要：
钢铁侠都看过吧，男猪脚 tony 只需要语音说话给出指令，AI助手会完成所有的指令，期间完全不需要人干预了，全程自动化，看着是不是很科幻？很过瘾？现阶段，市面上所有的大模型核心功能还是问答，能准确回答用户的提问已经很不错了，那么问题来了： 怎么根据用户的指令去干具体的活了？ 怎么判断任务已经完成了？ 阅读全文