英伟达 $NVDA 在NVIDIA GTC 2025上宣布了创世界纪录的 DeepSeek-R1推理性能。在满血6710亿参数DeepSeek-R1模型上,搭载8个NVIDIA Blackwell GPU的单个NVIDIA DGX系统可实现每位用户每秒超过250个token,或每秒超过30000个token的最大吞吐量。
通过硬件和软件的结合,英伟达自1月以来将DeepSeek-R1 671B模型的吞吐量提高了约36倍,相当于每个token 的成本优化了32倍。
英伟达 $NVDA 在NVIDIA GTC 2025上宣布了创世界纪录的 DeepSeek-R1推理性能。在满血6710亿参数DeepSeek-R1模型上,搭载8个NVIDIA Blackwell GPU的单个NVIDIA DGX系统可实现每位用户每秒超过250个token,或每秒超过30000个token的最大吞吐量。
通过硬件和软件的结合,英伟达自1月以来将DeepSeek-R1 671B模型的吞吐量提高了约36倍,相当于每个token 的成本优化了32倍。
作者最新文章
热门分类
社会TOP
社会最新文章