AWS Machine Learning Blog· Jyothirmai Kottu·· 5 小时前AI 评分27
在 Amazon SageMaker AI 上用 llama.cpp 部署决策模型
Deploy decision models with llama.cpp on Amazon SageMaker AI
AI 导读
AWS 发布面向 llama.cpp 的 Deep Learning Container，可在 Amazon SageMaker AI 上以 CPU 或 GPU 部署量化模型，并通过 InvokeEndpoint 提供 OpenAI 兼容的 chat completions。
来源：AWS Machine Learning Blog · aws.amazon.com