来源：AWS Machine Learning Blog
2026-09-09 22:26
使用 vLLM 在 Amazon SageMaker HyperPod 上部署 Qwen3.8-2.4T-A95B
使用
vLLM
Amazon
SageMaker
HyperPod
了解如何使用 vLLM 在 Amazon SageMaker HyperPod 上部署 Qwen3.8-2.4T-A95B（一个 2.4 万亿参数的开放权重模型）。本演练涵盖集群配置、NVFP4 量化以及具有内置推理、工具调用和本机 MTP 推测解码的 OpenAI 兼容端点。