教母李飞飞的RTFM世界模型来了,号称「单张H100的算力即可满足交互帧速率的推理」。
技术原理先不展开了,解释一下这个定语:
1. 单张H100 80GB版本的INT8推理能力是1600T不到,如果只说算力能否塞进车里,那么大概是单张神玑的1.6倍、单张Thor-U的2.2倍,单块FSD Chip 2的2.2倍,过两年车规级3纳米成熟了就能上车。
2. 但是推理帧率高不能只看算力,带宽是更重要的那块木板,H100 80GB版本的内存带宽达到了2TB每秒,大概是神玑的4倍、Thor-U的8倍、HW4的4.5倍——如果汽车不上HBM,这鸿沟基本填不上。
