先了解这件事
vLLM 宣布对 Thinking Machines Lab 的 1T 参数多模态模型 TML Inkling 提供 Day-0 支持,覆盖 thinkingmachines/Inkling-NVFP4 和 BF16 两个版本,支持文本、图像、音频输入和最长 1M token 上下文。
最新进展
vLLM 实现 TML Inkling Day-0 支持并完成推理性能优化
事件进展1
vLLM宣布Day-0正式支持thinkingmachines/Inkling-NVFP4模型,提供优化性能与全功能对齐
vLLM 官方博客:vLLM 实现 TML Inkling Day-0 支持并完成推理性能优化