vLLM 实现 TML Inkling Day-0 支持并完成推理性能优化
TML Inkling on vLLM: Day-0 Support with Optimized Performance
AI 导读vLLM 宣布对 Thinking Machines Lab 的 1T 参数多模态模型 TML Inkling 提供 Day-0 支持,覆盖 thinkingmachines/Inkling-NVFP4 和 BF16 两个版本,支持文本、图像、音频输入和最长 1M token 上下文。
来源:vLLM 官方博客 · vllm.ai
事件后续1
查看事件全部- vLLM 实现 TML Inkling Day-0 支持并完成推理性能优化vLLM 官方博客 · 7 月 15 日