关键结论：
开源社区模型不具备真正智能，更好的小模型来自大模型的 Scale Down
GPT-4模型信息：采用MoE架构，16个experts，800b参数
如何减少幻觉 hallucination？scaling/retrieval/reward model
指令遵循的开源小模型被过度炒作，已经到达瓶颈，突破方向是更强的 Base Model 和更进一步的反馈数据
用不了多久，大家会把80%算力从 Training 转向 Serving
预计未来模型的迭代节奏会很像手机系统：1-2 年更新一次大版本，中间有无数次小版本迭代；
中期来看，RLHF 不应该是 Alignment 的唯一手段， Direct Preference Optimization 和 Stable Alignment 是新路径
长期来看，小版本迭代的角度：隐私/权限的增强、更多的图片/文件/声音格式的 Embedding
LLM 的 Context Window 就像电脑内存，向量数据库是 LLM 的硬盘
Robot Learning 已成为学界主流研究路线
数学：泛化一般而言跟基础模型大小正相关，跟 SFT 数据总量负相关，跟 SFT 数据丰富度正相关
不能指望通过微调来让模型学习更多的知识，这是不靠谱的。目前让模型可靠学习知识的方式只有预训练阶段。
试图微调来让模型扩展知识很可能会导致增加模型的幻觉。
微调只是把预训练阶段学到的知识通过特定方式激发出来，裁剪/特化模型的某些能力，微调之前可能模型并不能很好的体现/输出自己已经学到的信息。
可以将prompt 中“few shot example的指定”通过微调的方式固化到模型中，并可能取得比prompt few shot learning更好的效果。这样同时可以降低prompt的长度，起到节约成本的作用。
微调已经不是目前创业者的重点了，我们有了其他的方式来解决知识问题，例如 function call与通过embedding召回外部知识库。
John Schulman 在《Reinforcement Learning from Human Feedback: Progress and Challenges》9提到，SFT 与其等价的 BC 存在固有缺陷，即训练越充分越容易出现欺骗（即 模型并不明确自己知识的边界），RLHF 则是让模型明确有些问题自己不知道。原理上是因为 SL 训练时只有正反馈，而且对偏离样本的惩罚较重，RL 多样性更好，因而在面对不知道的问题时，SL 训练充分的模型倾向于 回答（胡编乱造），而非反馈不知道
Token层面的简单策略大多不能期待有语义层面处理的效果；RLHF相对于SFT更多是在语义干预层面的能力，但也由于RLHF的建模是基于Token的，导致RL的step非常长，是RLHF的卡点之一
对于语言生成模型来说，监督学习/指令调优最大的问题是它们只能复制演示者给出的确切答案，但实际上，人类语言可以用多种方式传递相同的信息，它们都是切实可行的。如果因模型轻微偏离人类规定的文本而受到“惩罚”，可能会使模型产生困惑。
详细见链接：https://new.qq.com/rain/a/20230711A03VL700?no-redirect=1
RLHF形式上是通过在模型的语言空间中采样大量数据、通过RM重新标注并反馈给模型来实现性能提升，其中最关键的一步是采样大量数据，即RLHF有Try-and-error的特点。
用一个问题表达rl比起sl的好处：对于一个在training中见过的input，一个perfect sl model能不能输出比ground truth好的response？那一个用reward model训练的perfect rl model呢？supervised learning的目的是输出最接近ground truth的response，而rlhf要的是return 最大的(最preferred)的response，单纯sl 理论上做不到这一点
