Kimi放大招20秒更新万亿参数Kimi神器让模型权重实现秒更
Kimi这次是真的“卷”起来了。
Moonshot刚刚开源了一个名叫checkpoint-engine的中间件,号称能在20秒内更新万亿级参数,而且还是在数千块GPU上同时完成。对大模型训练来说,这已经不是优化程度的问题了,是直接拉高天花板。
网友看完直接一脸震惊:又是你,Kimi!
这是为万亿参数量级强化学习量身打造的高效中间件,让大模型训练彻底告别“等半天”。
目前项目已开源,地址在这:👉 github.com/MoonshotAI/checkpoint-engine