使用GPT-4生成训练数据微调GPT-3.5 RAG管道

OpenAI在2023年8月22日宣布，现在可以对GPT-3.5 Turbo进行微调了。也就是说，我们可以自定义自己的模型了。然后LlamaIndex就发布了0.8.7版本，集成了微调OpenAI gpt-3.5 turbo的功能

也就是说，我们现在可以使用GPT-4生成训练数据，然后用更便宜的API（gpt-3.5 turbo）来进行微调，从而获得更准确的模型，并且更便宜。所以在本文中，我们将使用NVIDIA的2022年SEC 10-K文件来仔细研究LlamaIndex中的这个新功能。并且将比较gpt-3.5 turbo和其他模型的性能。

RAG vs 微调

微调到底是什么?它和RAG有什么不同?什么时候应该使用RAG和微调?以下两张总结图:

这两个图像总结了它们基本的差别，为我们选择正确的工具提供了很好的指导。

但是，RAG和微调并不相互排斥。将两者以混合方式应用到同一个应用程序中是完全可行的。

 

https://avoid.overfit.cn/post/0a4ae4d87e69457dbd899d7a9af07237