NVIDIA称全栈协同设计可缓解AI推理内存压力

NVIDIA 发布技术讲解，称其通过 GPU、CPU、网络、存储与软件的全栈协同设计提升每字节内存的有用算力，无需单纯堆叠 HBM 即可缓解 AI 推理的内存压力。具体手段包括 NVFP4 量化、Dynamo KV 缓存复用、CMX 上下文存储等。 据 NVIDIA 称，从 Blackwell Ultra 到 Vera Rubin 平台，HBM 容量仅增长约 3%，但在 SemiAnalysis AgentX 基准上每美元智能体吞吐量最高提升 30 倍。这些措施有适用范围：模型权重在 NVL72 系统内最多可分布到 72 块 GPU；CMX 上下文存储的合作存储厂商包括 Cloudian、DDN、Dell、Everpure（原 Pure Storage）、HPE、IBM、NetApp、VAST 和 WEKA。

AI 根据报道生成 · 11 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。