a股deepseekDeepSeek开源首个代码库!全球第一大开源大模

程程聊商业 2025-02-25 00:31:49

a股 deepseek DeepSeek 开源首个代码库!

全球第一大开源大模型——DeepSeek将在本周陆续开源一些代码库。

今天是第一天,上午,DeepSeek开源了首个代码库——FlashMLA。

MLA,多层注意力机制,是一种改进的注意力机制,可以提高Transformer模型在处理长序列时的效率和性能。Flash MLA的核心是加速大语言模型的解码过程,提高模型的响应速度和吞吐量,也就是大幅提升大模型的推理速度。

据DeepSeek表示,在H800上能实现3000GB/s的内存带宽和580TFLOPS的计算性能,也就是内存带宽和推理性能都提升了2-3倍。

去年聊英伟达算力的时候聊过,算力性能不仅仅取决于硬件芯片的性能,其所搭配的软件性能也很关键,这也是为什么同样硬件性能,下游更喜欢用英伟达的卡,因为英伟达软件(适配的系统)也做得好。

现在DeepSeek开源的FlashMLA,就是通过软件的重塑,进一步强化了算力卡的性能,相当于给算力卡吃了“大补丸”,彻底激发了其性能潜力。

原来一个低性能的卡就能当更高性能的卡使用,用相同的GPU服务器完成原来几倍的任务量。

所以很显然,FlashMLA的出现将进一步降低AI算力的门槛,促进AI平权,也有利于国产算力的放量,因为如果能将H800推广到国产算力卡,那国产算力卡也将大幅提升性能,提升性价比。

接下来一周,期待DeepSeek开源更多惊喜。

0 阅读:53
程程聊商业

程程聊商业

感谢大家的关注