OpenAI揭秘GPT-4.5训练：10万块GPU，几乎全员上阵，有出现过“灾难性问题” OpenAI近日披露了一些GPT-4.5研发细节，训练耗时两年，动用10万块GPU，几乎全员参与。过程中遭遇基础设施故障、隐藏Bug等问题，团队不得不“边修边训”。 模型性能较GPT-4提升约10倍，智能增强效果超出预期。OpenAI发现，未来突破关键在于数据效率，而非算力。系统架构正转向多集群，未来或需千万级GPU协作。 团队还分享了数据长尾效应与Scaling Law的关系，以及算法与系统协同设计的经验。GPT-4.5的成功验证了Scaling Law的长期有效性。
OpenAI揭秘GPT-4.5训练：10万块GPU，几乎全员上阵，有出现过“灾难
游乐看科技
2025-04-13 20:24:22
0
阅读：0
