会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
mengrennwpu
好学求知,稳健中流
博客园
首页
新随笔
联系
管理
订阅
04 2024 档案
LLM优化:开源星火13B显卡及内存占用优化
摘要:
本文主要是针对开源星火13B的显存及内存占用过大的一个代码优化。核心思想是使用CPU预加载模型,再转换至GPU。
阅读全文
posted @
2024-04-28 16:46
mengrennwpu
阅读(746)
评论(1)
推荐(0)
编辑
LLM应用实战:当KBQA集成LLM(二)
摘要:
本文主要是针对KBQA方案基于LLM实现存在的问题进行优化,主要涉及到图谱存储至Es,且支持Es的向量检索,还有解决了一部分基于属性值倒查实体的场景,且效果相对提升。
阅读全文
posted @
2024-04-25 21:16
mengrennwpu
阅读(499)
评论(1)
推荐(0)
编辑
LLM应用实战:当KBQA集成LLM
摘要:
将传统KBQA中的部分模块,如NLU、指代消解、实体对齐等任务,完全由LLM实现
阅读全文
posted @
2024-04-11 10:56
mengrennwpu
阅读(713)
评论(3)
推荐(2)
编辑
LLM面面观之MoE
摘要:
此文是本qiang~针对大语言模型的MoE的整理,包括原理、流程及部分源码
阅读全文
posted @
2024-04-02 09:28
mengrennwpu
阅读(1345)
评论(0)
推荐(0)
编辑
公告