英伟达$NVDA在NVIDIAGTC2025上宣布了创世界纪录的De

春蕴评趣事 2025-03-19 10:42:21

英伟达 $NVDA 在NVIDIA GTC 2025上宣布了创世界纪录的 DeepSeek-R1推理性能。在满血6710亿参数DeepSeek-R1模型上,搭载8个NVIDIA Blackwell GPU的单个NVIDIA DGX系统可实现每位用户每秒超过250个token,或每秒超过30000个token的最大吞吐量。

通过硬件和软件的结合,英伟达自1月以来将DeepSeek-R1 671B模型的吞吐量提高了约36倍,相当于每个token 的成本优化了32倍。

0 阅读:3
春蕴评趣事

春蕴评趣事

感谢大家的关注