Anthropic 等提出 Activation Oracle:训练 LLM 以自然语言回答模型激活相关问题
Activation Oracles: Training and Evaluating LLMs as General-Purpose Activation Explainers
AI 导读Anthropic 联合 MATS、Truthful AI 等机构发布研究,训练 Activation Oracle(AO)将 LLM 神经激活作为输入,用自然语言回答关于激活的任意问题。
来源:Anthropic:Alignment Science Blog · alignment.anthropic.com