AWS Machine Learning Blog· Ananth Raghavendra·· 3 小时前AI 评分34
用 Ray LLM Deep Learning Containers 在 Amazon EKS 上运行多节点推理
Run multi-node inference workloads using Ray LLM Deep Learning Containers
AI 导读
AWS 发布面向多节点部署的 Ray LLM Deep Learning Containers，可在 Amazon EKS 上把一个大语言模型拆到两个 GPU 节点，用独立节点分别承担 prefill 和 decode，并统一暴露 OpenAI 兼容端点。
来源：AWS Machine Learning Blog · aws.amazon.com