英伟达:创造DeepSeek-R1推理性能世界纪录
创始人
2025-03-19 20:35:38
0

(文/汤普济 编辑/吕栋)

当地时间3月18日,黄仁勋于GTC AI大会上发表演讲,发布最新一代Blackwell Ultra GPU(GB300)。同日, 英伟达官方博客发布文章,宣布利用Blackwell架构GPU实现DeepSeek-R1模型推理性能的世界纪录。

英伟达此次利用单个配备八块Blackwell架构B200 GPU的英伟达DGX系统,在英伟达评价为“超大规模、最先进的“DeepSeek-R1模型上,实现每用户每秒可处理超过250个token的性能,或每秒最大吞吐量超过30000个token。

NVIDIA

英伟达于2025年1月30日在面向开发者的网站上发布NVIDIA NIM微服务版的DeepSeek,之后,英伟达不断通过优化推理生态,刷新DeepSeek-R1模型的吞吐量。英伟达声称,自1月以来,DeepSeek-R1 671B模型的吞吐量已被提高了约36倍,相当于每token的成本降低了约32倍。

同时,英伟达声称,纪录还将随着Blackwell Ultra GPU和 Blackwell GPU在推理性能上的突破刷新。

据悉,英伟达此次发布的GB300是全球首个288GB HBM3E GPU,FP4推理性能可达去年发布的GB200的1.5倍,峰值可达15PFLOPS。将在2025年下半年出货。

英伟达还预览了下一代AI超级芯片——Vera Rubin,由Rubin GPU和Vera CPU组成。Vera CPU拥有88个定制Arm核心、176个线程。Rubin由两块掩模尺寸的GPU组成,拥有288GB HBM4内存,FP4峰值推理能力可达50PFLOPS,相比GB300,整体性能可达3.3倍。

此外,英伟达还发布了用于加速AI模型推理的分布式推理服务库NVIDIA Dyamo,据称,在GB200 NVL72架构上运行Dyamo推理,能使DeepSeek-R1模型的吞吐量提升30倍。

相关内容

热门资讯

梁凤仪:香港证监会正制定数码资... 观点网 香港报道:11月25日,香港证监会行政总裁梁凤仪表示,香港正引领全球监管机构,致力建立一个安...
重污染天气不能“想生产就生产”... 今年进入秋冬季节以来,扬州市多次启动重污染天气黄色预警,明确要求相关企业落实停产或限排措施。但生态环...
中国经济新看点|制度红利释放服... 近年来,随着中国积极推进高水平制度型开放,加快构建国内国际双循环新发展格局,产业链供应链国际合作持续...
节能铁汉(300197)披露累... 截至2025年11月25日收盘,节能铁汉(300197)报收于2.0元,较前一交易日上涨0.5%,最...
龙洲股份最新公告:控股孙公司东... 龙洲股份(002682.SZ)公告称,公司控股孙公司东莞中汽宏远汽车有限公司因买卖合同纠纷被东莞巴士...
龙洲股份控股孙公司涉两起重大诉... 龙洲股份(002682)11月25日晚间发布两则公告,披露其控股孙公司东莞中汽宏远汽车有限公司(下称...
物产金轮:已制定市值管理相关制... 证券之星消息,物产金轮(002722)11月25日在投资者关系平台上答复投资者关心的问题。 投资者提...
濮阳人大:夯实法治根基 绽放制... 大象新闻记者 张松涛 通讯员 王庆红 宋琪琪 李彤阳 近年来,濮阳市人大常委会自觉扛起把制度优势转化...
山西全面推行“代表性成果”评价... “全面推行‘代表性成果’评价制度,技术推广、解决方案、创新专利、成果转化、理论文章、教案病历、文艺作...
武汉中院回应刑一庭原庭长酒后驾... 新京报讯 11月25日,武汉市中级人民法院发布情况通报,内容如下: 2025年10月26日凌晨,武汉...