摘要:
原文链接:https://blog.csdn.net/qq_27590277/article/details/131298092 思想: 从数据入手,想炼丹,先把好原材料的关。 这个模型仅使用“互联网语料”(不需要额外的数据源),就可以训练一个不错的大模型。 问题点: 数据、wikipedia、论文 阅读全文
摘要:
增量预训练也叫领域自适应预训练(domain-adapter pretraining),即在所属领域数据上继续预训练。 主要问题是在增量预训练后可能发生灾难性遗忘。 避免灾难性遗忘主要从以下几个方面入手: 1 领域相关性 增量数据与所选基座模型的原始训练数据尽量一定的相关性。 2 新数据分布与原始数 阅读全文
摘要:
一 什么是幻觉问题 大模型的幻觉问题是指大模型生成的答案不基于任何事实数据,简单来说就是杜撰、一本正经的胡说八道。 幻觉问题也是影响大模型落地的重要原因之一 幻觉问题分类 1 和用户输入冲突的幻觉 2 和上下文冲突的幻觉 3 和事实知识冲突的幻觉(目前重点)例如,大模型在生成医疗建议时可能会捏造错误 阅读全文