语言模型内省适配器自述训练行为

在新的Anthropic Fellows研究中，我们探讨了“内省适配器”：这种工具能让语言模型自我报告在训练过程中习得的行为——包括潜在的错位。

[引用 @kshenoy_]：大型语言模型能否直接告诉我们它们在训练中习得的不良行为？

我们训练了一个单一的内省适配器（IA），使微调后的模型能够描述自身行为。

该方法可推广至检测隐藏的错位、后门和安全措施移除。