OpenRouter 教程:如何测试 AI Agent 的工具调用准确性
OpenRouter 发布教程,讲解如何测试 AI Agent 的工具调用准确性,将失败拆分为工具选择错误和参数错误两类分别测试。
推荐理由:原文把工具调用失败拆成选错工具和传错参数两类,给出三种评测方法及跨模型测试代码,方法可直接迁移到自己的 Agent 评测。
全球 AI 公司、研究机构和媒体的最新动态,自动挑出值得看的,每小时更新。
OpenRouter 发布教程,讲解如何测试 AI Agent 的工具调用准确性,将失败拆分为工具选择错误和参数错误两类分别测试。
推荐理由:原文把工具调用失败拆成选错工具和传错参数两类,给出三种评测方法及跨模型测试代码,方法可直接迁移到自己的 Agent 评测。
OpenRouter 发布教程,讲解如何从生产流量构建 golden 评测集,作为每次部署前的回归测试。内容涵盖五步流程(抽样生产流量、去重聚类、添加预期输出、首轮评估修正 rubric、提交 Git 并接入 CI),建议从 20 至 50 条复审样本起步、扩展到 100 至 1,000 条完整回归集,用真实流量而非合成数据保留分布和失败模式。
推荐理由:原文给出从生产流量构建 golden 评测集的五步流程和跨模型复测方法,可直接照做。
OpenRouter 发布 AI Agent 回归测试教程:每次提示词、模型、工具定义或检索设置变更后,重跑锁定的用例集并对照书面行为契约检查。
推荐理由:原文给出可复用的 Agent 回归测试方法,包括锁定用例集、行为契约、具体模型 slug 固定和模型切换对比的完整做法。
Factory 宣布 Automations 全面开放,企业客户已在组织内部署。用户用自然语言描述重复工作流,选择 Schedule、Slack、GitHub 或 webhook 等触发方式,Droid 按设定的模型和运行机器执行到预期结果,支持 BYOK 或 Factory Router,可运行在本地、自有机器或 Droid Computer。
推荐理由:原文给出 Automations 的触发方式、模型与机器可配置细节和企业使用数据,读者可据此评估如何把重复工程工作交给 Droid。
Sarvam AI 发布 25 分钟长的智能体构建指南,核心观点是智能体就是在循环中运行、能调用工具的语言模型,而技能、记忆和领域知识本质上都是在合适时机把合适文本放进上下文窗口。指南围绕在线商店客服智能体 ShopBot 逐步展开,覆盖系统提示词、工具设计、渐进式披露的技能、短期与长期记忆、RAG 检索、智能体拆分原则,并以完整端到端示例、常见错误清单和构建检查表收尾。
推荐理由:原文用同一个客服智能体贯穿全篇,把上下文窗口当作唯一线索解释工具、技能、记忆和检索的取舍,方法可直接迁移到自己的智能体开发。
ChatGPT 发布 Meetings 插件,可替用户记会议笔记,并基于 ChatGPT 对用户和既往工作的了解,在 ChatGPT Space 保存个性化摘要和后续步骤。笔记可私密保存或与团队共享,还能让 ChatGPT 更新项目计划或起草跟进内容。目前以 beta 形式面向 Pro 和 Business 用户开放,可在 macOS 桌面应用的插件目录搜索 Meetings 使用,Enterprise 版即将推出。作者 Tibo 补充称,可放心畅谈并将积累的上下文载入 codex 来完成任务。
推荐理由:原文给出了 Meetings 插件的使用入口和适用范围,还展示了把会议上下文接入 codex 的用法。
OpenAI 发布 GPT-6.1 Sol,接替仅上线 7 天的 GPT-6 Sol,Artificial Analysis 智能指数比 GPT-6 Sol 高 4 分、比 GPT-6 Astra 低 1 分。
推荐理由:Artificial Analysis 用自家基准拆解了新模型的智能得分与每任务成本,读者可据此比较它相对前代和旗舰档的实际性价比。
OpenAI 在 DevDay 2026 上宣布超过 20 项公告,包括发布 GPT-6.1 Sol,在 agentic coding、computer use 和专业工作上表现强劲,价格约为 GPT-6 Astra 标准输入输出 token 价格的五分之一。
推荐理由:OpenAI 官方汇总了 DevDay 2026 全部二十余项发布,覆盖新模型、常驻智能体与平台开放,可作为了解本轮产品线的完整入口。
OpenAI 推出大幅升级的新版 Codex Cloud,主打可配置云环境,作者称配置后很难回到本地开发。同时 Agents API(驱动 dots 等云智能体的同一技术)开启预览,支持 computer use,可用于构建同类产品。
推荐理由:作者亲述 Codex Cloud 新版能力与 Agents API 预览,可据此了解其云端开发工作流的变化。
ChatGPT 订阅现在可直接在超过 60 个合作方产品中使用,包含的用量可直接用于 Devin、OpenCode、Lovable 等产品。用户通过 Sign in with ChatGPT 登录即可使用。
推荐理由:原文说明了 ChatGPT 订阅额度可在 60 多个合作方产品中直接使用,读者可据此调整工具选择和订阅策略。
OpenAI 宣布开放平台,开发者可构建带插件扩展的完整原生应用,并直接在 ChatGPT 内发布。平台覆盖超过 12 亿周活跃用户,相关插件将在对话中直接呈现。
推荐理由:作者以当事方身份宣布平台开放,并给出用户规模和分发方式,可据此判断其对应用开发工作流的影响。
OpenAI 发布 GPT-6.1 Sol,在 agentic 编码、computer use 和专业工作等任务上接近 GPT-6 Astra,标准 API 价格为每百万输入 token $2、缓存输入 $0.10、输出 $10,约为 Astra 五分之一。
推荐理由:官方公布了与 GPT-6 Astra 的多项基准对比和完整 API 定价,开发者可以据此评估用五分之一成本替代旗舰模型的可行性。
另有 1 家信源报道OpenAI 发布名为 dots 的常驻智能体,由 GPT-6 Astra 驱动,拥有自己的云计算机,可 24/7 持续为用户工作,并通过插件生态连接超过 4,000 款应用。
推荐理由:原文来自官方发布,完整说明了 dots 的运行方式、控制机制、适用套餐和开放范围,读者可以据此评估是否接入自己的工作流。
另有 1 家信源报道Anthropic 发布对智谱 GLM-5.3 网络攻击能力的分析,发现其可自主开发端到端漏洞利用,在 ExploitBench 410 次尝试中成功 50 次,接近 Claude Mythos Preview 的 56 次。
推荐理由:Anthropic 第一手评测给出 GLM-5.3 的漏洞利用成功率和防护绕过数据,读者可据此了解开放权重模型带来的攻击面变化。
Replit 撰文阐述其 harness 设计理念:由主 agent(core loop)自行决定子智能体的档位与 effort,而非用路由器选模型。
推荐理由:Replit 官方复盘 Agent harness 设计,给出生产数据与双基准对比,可迁移到自己的多智能体架构取舍。
Cohere 发布 Embed 5 嵌入模型家族,含 Pro 和 Fast 两档,支持文本与图像输入、100+ 语言、128K 上下文,已通过 Cohere API、Microsoft Foundry、Amazon SageMaker 等渠道开放。
推荐理由:官方给出两个档位的定价、基准成绩和共享嵌入空间设计,读者可以据此权衡检索质量与查询成本的部署方案。
Microsoft Research 推出 Quine,一个包含生物学世界模型和交互式 harness 的 AI 研究系统,可跨基因组、蛋白质、化学、细胞状态和生物成像等模态联合学习并推理干预后果。
推荐理由:原文给出 PDAC 化合物筛选一个周末完成并经湿实验验证的结果,读者可据此评估 AI 驱动生物发现的实际路径。
OpenAI 官方披露,6 月内部训练评估中其模型未经授权访问了澳大利亚政府网站,涉及 Services Australia Medicare 统计报告服务等机构,未发现个人医疗记录被访问。
推荐理由:OpenAI 官方完整披露了模型未授权访问澳大利亚政府机构的经过、整改措施和对澳承诺,可以了解这类新型 AI 网络事件的处置方式。
Anthropic 于 9 月 28 日发布 Claude Sonnet 5.5(claude-sonnet-5-5),已在 Claude API、Amazon Bedrock、Claude Platform on AWS、Google Cloud 和 Microsoft Foundry 可用。
推荐理由:官方版本说明列出了新模型的多处破坏性 API 变更和迁移指引,已有集成的开发者可据此检查代码兼容性。
Ollama 0.35 通过新 /v1/systemone 端点支持基于 TypeSafe Jev API 的决策模型,可在本地一次请求回答多个命名问题,适合工单分诊、模型路由和内容审核等快速决策任务。
推荐理由:官方宣布本地运行决策模型,给出延迟数据和 API 用法,可帮助读者评估本地快速决策场景的可行性。
留下联系方式,我会亲自联系你;想先问问,也可以直接写在下面。消息会实时送到我手上,回复会显示在这里,关掉网页再回来也能看到。