摘要： 以前有人问我“书读了很多之后，但是其中内容都忘记了，那么读书的价值何在呢？” 我说：“训练数据在训练完模型之后就可以删掉了，只要权值文件和网络结构保存好即可” 死记硬背是没有用的，因为死记硬背是一种过拟合的能力，而一个好的机器学习模型应该是泛化性能比较好的，所以好的教育应该是培养一个人举一反三的能力 阅读全文

摘要： John Schulman，研究科学家、OpenAI联合创始人；加州大学伯克利分校计算机科学博士，师从Pieter Abbeel。现领导OpenAI强化学习团队。 本文是对John Schulman(下文中简称为JS)的报告《Reinforcement Learning from Human Fee 阅读全文

摘要： 关键结论： 开源社区模型不具备真正智能，更好的小模型来自大模型的 Scale Down GPT-4模型信息：采用MoE架构，16个experts，800b参数 如何减少幻觉 hallucination？scaling/retrieval/reward model 指令遵循的开源小模型被过度炒作，已经 阅读全文