
IT之家7月1日消息,英伟达昨日(6月30日)发布博文,宣布在英伟达Blackwell平台上,通过优化全栈推理,相比较DeepSeekV4模型1个月前上线初期,单Token成本最多降至五分之一。

IT之家注:单Token成本(CostPerToken)指模型生成或处理单个token的成本指标,常用于比较不同硬件、软件栈或部署方式的推理成本表现。
英伟达在博文中表示已将单Token成本列为AI总拥有成本的核心指标,并表示针对DeepSeekv4模型,Blackwell平台已将其降低至行业最低水平。
在技术实现方面,英伟达通过生产运营层、应用加速层、基础设施访问层3层来优化推理:

性能方面,英伟达通过分离式服务、大规模专家并行、基于NVIDIANVLink的并行通信、NVFP4精度以及多token预测等技术,叠加优化后,Blackwell平台单GPU的token吞吐量最高可提升20倍。

