2023年11月11日
LoRAShear:微软在LLM修剪和知识恢复方面的最新研究
摘要： LoRAShear是微软为优化语言模型模型(llm)和保存知识而开发的一种新方法。它可以进行结构性修剪，减少计算需求并提高效率。 LHSPG技术（ Lora Half-Space Projected Gradient）支持渐进式结构化剪枝和动态知识恢复。可以通过依赖图分析和稀疏度优化应用于各种llm 阅读全文
posted @ 2023-11-11 11:16 deephub 阅读(16) 评论(0) 推荐(0) 编辑