微型语言模型中干扰权重的特征刻画
Characterizing interference weights in a tiny language model
AI 导读Anthropic 训练了一个单层 transformer，通过将模型分解为 token、位置、特征和 logits 间的虚拟权重，首次在训练过的 transformer 内直接演示了干扰权重的存在及其对训练损失的影响。
来源：Anthropic：Transformer Circuits · transformer-circuits.pub