vLLM 发布 vllm-metal v0.28.0：在 Apple Silicon 上支持并发推理服务
Announcing vllm-metal: Concurrent Serving on Apple Silicon
AI 导读vLLM 官方发布 vllm-metal v0.28.0，把 vLLM 的 V1 调度器、paged KV cache 和 OpenAI 兼容服务器带到 Apple Silicon，由 MLX 和 Metal 执行模型，版本号与上游 vLLM 对齐。
来源：vLLM 官方博客 · vllm.ai
事件后续1
查看事件全部- vLLM 发布 vllm-metal v0.28.0：在 Apple Silicon 上支持并发推理服务vLLM 官方博客 · 21 天前