澳亚国际平台app

IT之家7月1日消息,英伟达昨日(6月30日)发布博文,宣布在英伟达Blackwell平台上,通过优化全栈推理,相比较DeepSeekV4模型1个月前上线初期,单Token成本最多降至五分之一。 IT之家注:单Token成本(CostPerToken)指模型生成或处理单个token的成本指标,常用于比较不同硬件、软件栈或部署方式的推理成本表现。 英伟达在博文中表示已将单Token成本列为AI总拥有成本的核心指标,并表示针对DeepSeekv4模型,Blackwell平台已将其降低至行业最低水平

澳亚国际平台app

热线电话:

澳亚国际平台app

英伟达刷新DeepSeek V4推理纪录: 单Token成本降至1/5

点击次数:68发布日期:2026-07-13 15:16

IT之家7月1日消息,英伟达昨日(6月30日)发布博文,宣布在英伟达Blackwell平台上,通过优化全栈推理,相比较DeepSeekV4模型1个月前上线初期,单Token成本最多降至五分之一。

IT之家注:单Token成本(CostPerToken)指模型生成或处理单个token的成本指标,常用于比较不同硬件、软件栈或部署方式的推理成本表现。

英伟达在博文中表示已将单Token成本列为AI总拥有成本的核心指标,并表示针对DeepSeekv4模型,Blackwell平台已将其降低至行业最低水平。

在技术实现方面,英伟达通过生产运营层、应用加速层、基础设施访问层3层来优化推理:

性能方面,英伟达通过分离式服务、大规模专家并行、基于NVIDIANVLink的并行通信、NVFP4精度以及多token预测等技术,叠加优化后,Blackwell平台单GPU的token吞吐量最高可提升20倍。