GPT-3的训练一次成本约为140万美元

训练GPT模型的成本非常高昂，因为它需要大量的计算资源和时间。具体来说，GPT-3的训练成本约为140万美元，对于一些更大的LLM模型，训练成本介于200万美元至1200万美元之间。此外，OpenAI训练GPT-4的FLOPS约为2.15e25，在大约25000个A100上训练了90到100天，如果以1美元/每A100小时计算，训练成本大约是6300万美元。