Anthropic 发布论文演示神经网络特征叠加

先了解这件事

Anthropic 发布论文《Toy Models of Superposition》，用稀疏合成数据训练的小型 ReLU 网络演示了神经网络的特征叠加现象：模型可以在维度不足的情况下表示比自身维度更多的特征。

论文称，研究使用玩具模型来考察模型如何以及何时表示超出其维度数量的特征。