Nvidia提出AI記憶體全棧協同設計方案，Vera Rubin平台每個GPU記憶體容量僅增加約3%，推理吞吐量提升最高30倍

NVIDIA表示，隨著AI模型規模擴大、上下文窗口延長以及智能體應用的普及，GPU記憶體壓力持續上升，HBM供應趨於緊張、價格上升。NVIDIA提出通過GPU、CPU、網路、儲存及軟體協同設計，提高記憶體使用效率，而非單純增加GPU記憶體容量。具體來看，NVIDIA利用NVFP4低精度格式壓縮模型權重和KV Cache，將暫時不活躍的上下文轉移至成本更低的儲存層，並藉由多GPU分散式部署釋放HBM空間。NVIDIA透露，在SemiAnalysis AgentX測試中，GB300 NVL72在特定工作負載下的單位成本推理吞吐量最高可達H200平台的10倍；Vera Rubin NVL72相較GB300 NVL72，單位成本推理吞吐量最高提升30倍，而單一GPU HBM容量僅增加約3%。