来源:AWS Machine Learning Blog 2026-09-03 16:10

在 Amazon ECS 和 Amazon Bedrock 上使用 LiteLLM 设置 OpenAI ChatGPT Codex

Amazon 使用 ECS Bedrock LiteLLM
使用 AWS Fargate 在 Amazon ECS 上部署客户操作的 LiteLLM 网关,将其连接到 Amazon Bedrock 上的 OpenAI 模型,并配置 Codex 通过网关的响应 API 使用范围内的身份、预算、速率限制和遥测来路由请求。我们还比较了直接 IAM Identity Center 访问和托管 Portkey 部署。

相关文章推荐

返回首页