DeepSeek发布开源EP通信库DeepEP，助力MoE模型高效训练与推理 2月25日，人工智能公司DeepSeek在OpenSourceWeek第二日宣布推出开源EP通信库DeepEP，专为Mixture of Experts（MoE）模型的训练和推理优化。DeepEP支持高效的all-to-all通信，涵盖节点内和节点间操作，利用NVLink和RDMA技术，提供高吞吐量训练与预填充内核、低延迟推理解码内核，并原生支持FP8格式。该库灵活控制GPU资源，实现计算与通信的重叠，进一步提升大型语言模型性能。DeepSeek通过这一举措强化其开源承诺，GitHub链接已开放，供全球开发者使用，推动AI社区共同进步。
DeepSeek发布开源EP通信库DeepEP，助力MoE模型高效训练与推理
游乐看科技
2025-02-25 13:43:50
0
阅读：0
