OpenRouter 发布评测集与 Agent 回归测试教程

先了解这件事

2026 年 9 月 30 日，OpenRouter 在其公告渠道发布两篇教程，分别面向 golden 评测集构建与 AI Agent 回归测试。第一篇教程讲解如何从生产流量构建 golden 评测集，作为每次部署前的回归测试，内容涵盖五步流程：抽样生产流量、去重聚类、添加预期输出、首轮评估修正 rubric、提交 Git 并接入 CI；教程建议从 20 至 50 条复审样本起步，扩展到 100 至 1,000 条完整回归集，并称用真实流量而非合成数据可保留分布和失败模式。第二篇教程针对 AI Agent 回归测试，提出在每次提示词、模型、工具定义或检索设置变更后，重跑锁定的用例集并对照书面行为契约检查。两篇教程均来自 OpenRouter 一手公告，未涉及收费、额度或地域限制信息。