2024年5月29日
微调真的能让LLM学到新东西吗:引入新知识可能让模型产生更多的幻觉
摘要： 大型语言模型(llm)是在巨大的文本语料库上训练的，在那里他们获得了大量的事实知识。这些知识嵌入到它们的参数中，然后可以在需要时使用。这些模型的知识在培训结束时被“具体化”。在预训练结束时，模型实际上停止学习。 对模型进行对齐或进行指令调优，让模型学习如何充分利用这些知识，以及如何更自然地响应用户的 阅读全文
posted @ 2024-05-29 10:49 deephub 阅读(16) 评论(0) 推荐(0) 编辑