2024-02-02-OpenAI的崛起之路-卢菁
摘要
2023-02-02 周五 老家 阴
2023 年是 AI 元年，2024年6月也是自己工作5年左右的时间，经验和各种技术积累的也差不多了，23年做了些 AIGC 的生成实验，24年初系统的学习下相关技术并且用于生产生活中，传统的业务应用开发终会被取代的，或早或晚。如果自己还算年轻就不要再一些无意义的事情上面死磕。
心得: 或好或坏都浅尝辄止一下，然后再综合对比学习。
课程内容
1. 人工智能发展脉络
2. NLP 技术发展路线
心得: 大模型出来以后，知识图谱的研究对象没有任何意义的。
3. GPT 系列模型发展路径
4. NLP 技术发展带来的影响
5. OpenAI 与 ChatGPT 发展路径
关键词:
排毒: 大模型的资料来源广泛且繁杂，难免包含观点理念有些出格的思想，因此为了符合地区政治的需要，因此对于大模型的训练输出需要摒弃有问题的观点；
对齐： 大模型的生成式需要符合人类大多数人的共识，大模型被创造者赋予了讨好和一般常识的思考和认知。
- GPT 系列总结
- ChatGPT 理念
关键词:
a. 对用户有用的；
b. 不可捏造事实(消除幻性)；
c. 不可对用户产生危害;
- RLHF: 强化学习和 NLP 结合
关键词: GPT 与强化学习结合从而优化语言模型，谷歌作为曾经互联网的神话，不可否认的是谷歌很多研究都是走在了时代的前沿，但是很多新奇的想法和观点同时也可能泯灭在信息浪潮中，不能为了发论文而发论文，我们需要通过研究对一些事物进行促进。
- RLHF 学习的步骤
关键词:
a. 训练语言模型阶段: 人工标注进行训练，模型需要在人工标注的语料上进行训练，这就叫大力出奇迹,核心过程就是消除毒性，保持真实性，偏向人类一般逻辑倾向；
b. 奖励模型的训练阶段: 构造一个奖励模型，通过对话方式为生成结果进行打分，通过深度学习强化此过程，因为打分偏好是具备地区性的主观偏好的，因此最后的大语言模型避免不了的就是政治偏向和意识形态的问题。
c. 语言模型优化阶段: 通过已经有的大语言模型从而不断优化现有的大语言模型，比如借助 ChatGpt 基础训练的清华大模型和羊驼模型，因为衍生的模型基于 ChatGpt 训练获得的，因此衍生模型可能无法超越原生模型，但是由于开源的原因，也是我们可以轻松获取并进行微调和原理学习的最佳途径。
心得: 开源和闭源就很难讲的，存在商业价值的产品永远是闭源的，可是仍然存在很多开源代码供我们学习，我们只可以做好平衡，不能一味贪心索取。国内很多商业公司把github上的产品下载下来以后，套一层壳，商业化落地，然后写 ppt 吹牛逼的大有人在，但是你能说这有错吗？这只是追求利益的一种商业行为，人家嗅觉灵敏提前布局了，所以没有好坏，没有对错，但是本质上没什么技术含量，提供的无非是稳定的高性能服务而已。
总结
AI 确实是当下最火热的风口，2015-2019 年大学的时候各种技术风口，区块链，云计算，大数据等等，当时自己没经验，也没有参与的资格，这次无论如何我都会抓住机会，哪怕做一朵时代的小浪花也好。
