先了解这件事
vLLM 官方发布 vllm-metal v0.28.0,把 vLLM 的 V1 调度器、paged KV cache 和 OpenAI 兼容服务器带到 Apple Silicon,由 MLX 和 Metal 执行模型,版本号与上游 vLLM 对齐。
最新进展
vLLM 发布 vllm-metal v0.28.0:在 Apple Silicon 上支持并发推理服务
事件进展1
vLLM 发布 vllm-metal v0.28.0:在 Apple Silicon 上支持并发推理服务
vLLM 官方博客:vLLM 发布 vllm-metal v0.28.0:在 Apple Silicon 上支持并发推理服务