mengrennwpu

摘要： 本文主要是使用unsloth框架针对Qwen1.5的高效微调实验，提供了详细的对比代码以及不同维度的对比分析结果。 阅读全文

摘要： 本文主要是使用unsloth框架针对llama3的高效微调实验，提供了详细的对比代码以及不同维度的对比分析结果。 阅读全文

摘要： 本文主要是针对开源星火13B的显存及内存占用过大的一个代码优化。核心思想是使用CPU预加载模型，再转换至GPU。 阅读全文

摘要： 本文主要是针对KBQA方案基于LLM实现存在的问题进行优化，主要涉及到图谱存储至Es，且支持Es的向量检索，还有解决了一部分基于属性值倒查实体的场景，且效果相对提升。 阅读全文

摘要： 将传统KBQA中的部分模块，如NLU、指代消解、实体对齐等任务，完全由LLM实现 阅读全文

摘要： 此文是本qiang~针对大语言模型的MoE的整理，包括原理、流程及部分源码 阅读全文

摘要： 此文是本qiang~针对大语言模型的DPO算法的整理，包括原理、流程及部分源码。 阅读全文

摘要： 1. 背景 本qiang~这段时间调研了LLM上下文扩展的问题，并且实打实的运行了几个开源的项目，所谓实践与理论相结合嘛！ 此文是本qiang~针对上下文扩展问题的总结，包括解决方案的整理概括，文中参考了多篇有意义的文章，他山之石可以攻玉。 大语言模型的扩展有诸多意义，如进行更长的会话、总结更长的文 阅读全文

摘要： LLM复读机产生的原因以及对应的解决方案 阅读全文

摘要： 1. 背景 关于Prefix LM和Causal LM的区别，本qiang在网上逛了一翻，发现多数客官只给出了结论，但对于懵懵的本qiang，结果仍是懵懵... 因此，消遣了多半天，从原理及出处，交出了Prefix LM和Causal LM两者区别的更为清楚的说明。 2. Prefix LM Pre 阅读全文