Anthropic 发表 Toy Models of Superposition 论文,演示神经网络的特征叠加现象
Toy Models of Superposition
AI 导读Anthropic 发布论文 Toy Models of Superposition,用稀疏合成数据训练的小型 ReLU 网络首次明确演示了神经网络可以在维度不足的情况下以叠加方式表示更多特征。
来源:Anthropic:Transformer Circuits · transformer-circuits.pub
事件后续1
查看事件全部- Anthropic 发表 Toy Models of Superposition 论文,演示神经网络的特征叠加现象Anthropic:Transformer Circuits · 9 月 14 日