08 2024 档案

摘要:训练安全垂直领域的LLM,会用到很多著名安全论坛(52pojie\kanxue\xianzhi\freebuf等)、博客的数据,这些数据100%都有很多图片(文不如图嘛,图片比文字更直观,更容易表达业务意义),之前微调LLM只能使用文字,图片只能丢弃,非常可惜,需要利用多模态的技术充分提取图片信息! 阅读全文
posted @ 2024-08-08 17:32 第七子007 阅读(1747) 评论(0) 推荐(0) 编辑
摘要:前面介绍的推理优化方法都有缺陷: knowledge distillation:需要样本数据训练student,同时要大量算力更新student参数 vLLM:通过page attention,减少显存浪费,充分利用碎片化的显存,并未减少算力 以上两种推理优化的方式都有缺陷,为了弥补上述缺陷,需要新 阅读全文
posted @ 2024-08-03 21:13 第七子007 阅读(654) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示