摘要：
原文链接：https://blog.csdn.net/qq_27590277/article/details/131298092 思想： 从数据入手，想炼丹，先把好原材料的关。 这个模型仅使用“互联网语料”（不需要额外的数据源），就可以训练一个不错的大模型。 问题点： 数据、wikipedia、论文 阅读全文
摘要：
增量预训练也叫领域自适应预训练（domain-adapter pretraining），即在所属领域数据上继续预训练。 主要问题是在增量预训练后可能发生灾难性遗忘。 避免灾难性遗忘主要从以下几个方面入手： 1 领域相关性 增量数据与所选基座模型的原始训练数据尽量一定的相关性。 2 新数据分布与原始数 阅读全文
摘要：
一 什么是幻觉问题 大模型的幻觉问题是指大模型生成的答案不基于任何事实数据，简单来说就是杜撰、一本正经的胡说八道。 幻觉问题也是影响大模型落地的重要原因之一 幻觉问题分类 1 和用户输入冲突的幻觉 2 和上下文冲突的幻觉 3 和事实知识冲突的幻觉（目前重点）例如，大模型在生成医疗建议时可能会捏造错误 阅读全文