先了解这件事
Answer.AI 的 Piotr Czapla 发现 Claude 4.5 在 solveit 对话中幻觉出一个未授予的工具 add_msg 并成功执行,API 未拦截,且在 Gemini 和 Grok 上也复现了类似行为。
最新进展
Answer.AI 揭示未授权工具调用问题:Claude 等模型可调用未授予的工具且 API 不拦截
事件进展1
作者披露LLM未授权工具调用漏洞:模型可幻觉调用未授权工具且API不拦截,已在Claude(Opus/Sonnet/Haiku)、Gemini、Grok等复现,其库已修复,并已报告Anthropic、Google、xAI、OpenRouter
Answer.AI 官方研发博客:Answer.AI 揭示未授权工具调用问题:Claude 等模型可调用未授予的工具且 API 不拦截