ScaleDown 约束解码模型接入 LangChain 与 OpenRouter

先了解这件事

ScaleDown 发布 Classify、Extract、Summarize 三款约束解码模型，不做逐 token 生成，只对输入做一次 prefill 并从原文中直接选出答案，用于智能体通常交给昂贵大模型的简单重复任务。LangChain 同期发布 langchain-scaledown 集成，并在 LangSmith LLM Gateway 中支持这些模型，称用于降低长时智能体上下文管理的成本和延迟。

据 ScaleDown 介绍，其输入为每百万 token 0.05 美元、输出免费，前 50 小时可免费获得 5000 万输入 token。OpenRouter 称该模型家族（Summarize、Extract、Classify-1）已在其平台上线，支持长文本、图片和 PDF 摘要、按自然语言定义字段提取 JSON、自定义标签分类，发布期 8 折优惠为输入每百万 token 0.04 美元、输出免费。

Testing Catalog 称这三款模型均支持 100 万 token 输入、文本或图像，可通过 ScaleDown API 及 OpenRouter、Vercel AI Gateway、LiteLLM、LangChain 调用。