摘要：
以前搞机器学习、数据挖掘，主要是针对文本、图像和结构化的数据。但在现实的物理世界中，还有一类非常重要的数据结构：图（不是图片Image，而是graph）！最常见的graph结构： 社交网络了：比如微信、qq这种好友关系的无向图；又比如weibo、x这种关注关系的有向图； google搜索引擎早期排序 阅读全文
摘要：
训练安全垂直领域的LLM，会用到很多著名安全论坛(52pojie\kanxue\xianzhi\freebuf等)、博客的数据，这些数据100%都有很多图片（文不如图嘛，图片比文字更直观，更容易表达业务意义），之前微调LLM只能使用文字，图片只能丢弃，非常可惜，需要利用多模态的技术充分提取图片信息！ 阅读全文
摘要：
前面介绍的推理优化方法都有缺陷： knowledge distillation：需要样本数据训练student，同时要大量算力更新student参数 vLLM：通过page attention，减少显存浪费，充分利用碎片化的显存，并未减少算力 以上两种推理优化的方式都有缺陷，为了弥补上述缺陷，需要新 阅读全文
摘要：
多年前搞大数据，因为单节点无力存储和计算PB级别的数据，所以hadoop这种分布式存储和计算框架是标配！如今搞大模型，仍然需要对大量样本数据做计算，因为涉及矩阵运算，单机单卡运算效率太低，也涉及到分布式计算了，大模型时代的分布式pre-train和Inference框架就有现成的—deepspeed 阅读全文
摘要：
1、众所周知，transformer架构取得了巨大的成功，核心原因之一就是attention的引入。当年那篇论文的名称就叫attention is all you need，可见attention机制在transformer中的巨大作用！attention的计算示意图如下： 同一个sequence中 阅读全文
摘要：
1、有些模型比较大，推理时的效果还不错，但非常耗费计算资源；并且产生token的速度也很慢，大概1秒1个token(我的RAG在最后一步使用的secGPT-13B大概就是这个速度)，一个问题回答完毕要耗费分钟级别的时间，用户直接抓狂，继续提升推理的速度！ 大模型本质是大量的矩阵运算，想要提高效率，就 阅读全文
摘要：
LLM的三大要素： 算力：算力的本质是拼财力，普通人是无力改变的； 算法/模型结构：目前最流行的还是transformer架构， 各种LLM都是基于transformer改细节，暂时没有用新的框架替代transformer。至于后续manba会不会替代transformer架构，有待观察！ 数据：这 阅读全文
摘要：
要想RAG好，embedding和reranker必须给力！目前市面上流行的embedding和reranker使用的都是通用预料训练，并未针对安全这个细分领域定制，所以有必要使用安全领域的预料微调一下！目前所有的预料中，获取成本比较低、并且不需要专门投入人力标注的有两种： 网上各种安全论坛的博客、 阅读全文
摘要：
截至目前，RAG最大的缺陷就是无法回答总结性的问题了。上篇文章（https://www.cnblogs.com/theseventhson/p/18281227）介绍了RAPTOR方法(利用GMM高斯混合模型对chunk聚类，然后再用LLM对每个cluster概括总结摘要)提取cluster的语义， 阅读全文
摘要：
1、RAG有很多优点，但是缺点也很明显，其中一个硬伤就是：只会“断章取义”！如果文本有明确的答案，现有的retrieve方式大概率能找到，但是如果文本没有明确的答案了？比如android逆向和windows逆向，哪个更有钱途？很多资料会介绍android逆向、windows逆向的原理和技术细节，但是 阅读全文