04 2024 档案

摘要:LLM优化:开源星火13B显卡及内存占用优化本文主要是针对开源星火13B的显存及内存占用过大的一个代码优化。核心思想是使用CPU预加载模型,再转换至GPU。 阅读全文
posted @ 2024-04-28 16:46 mengrennwpu 阅读(746) 评论(1) 推荐(0) 编辑
摘要:LLM应用实战:当KBQA集成LLM(二)本文主要是针对KBQA方案基于LLM实现存在的问题进行优化,主要涉及到图谱存储至Es,且支持Es的向量检索,还有解决了一部分基于属性值倒查实体的场景,且效果相对提升。 阅读全文
posted @ 2024-04-25 21:16 mengrennwpu 阅读(499) 评论(1) 推荐(0) 编辑
摘要:LLM应用实战:当KBQA集成LLM将传统KBQA中的部分模块,如NLU、指代消解、实体对齐等任务,完全由LLM实现 阅读全文
posted @ 2024-04-11 10:56 mengrennwpu 阅读(713) 评论(3) 推荐(2) 编辑
摘要:LLM面面观之MoE此文是本qiang~针对大语言模型的MoE的整理,包括原理、流程及部分源码 阅读全文
posted @ 2024-04-02 09:28 mengrennwpu 阅读(1345) 评论(0) 推荐(0) 编辑