AWS 发布在 EKS 与 HyperPod 上部署 Nemotron 模型指南

AWS Machine Learning Blog 发布指南，讲解如何使用 NVIDIA Dynamo 和 vLLM 在 Amazon EKS、EKS Auto Mode 和 SageMaker HyperPod EKS 上部署 NVIDIA Nemotron 模型并评估性能。 指南针对 Nemotron 3.5 Super VL 和 Nemotron 3 Ultra，在 aws-do-eks 项目中提供完整部署流程，涵盖环境准备、集群创建、模型权重下载、部署、测试、基准测试和清理。该架构已在 p6-b200.48xlarge（8 块 NVIDIA B200 GPU）和 p5en.48xlarge（8 块 NVIDIA H200 GPU）两种实例上完成验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。