返回精选
Anthropic:Transformer Circuits2025-07-15 08:007 月 15 日

2025年7月电路更新:特征语言重构数学框架与生物AI可解释性应用

Circuits Updates — July 2025

AI 导读

Anthropic可解释性团队分享了2025年7月的研究进展。第一部分用“特征”语言重构Transformer数学框架,将注意力头的OV和QK电路描述为特征及其变换(如检测属性X、前一标记X、触发输出X的特征),并解释了先前用特征值分析复制头和归纳头行为的合理性。第二部分概述了稀疏自编码器在生物AI系统(如蛋白质语言模型ESM-2)可解释性中的应用进展,强调此类研究对确保药物发现等应用的安全与有效性至关重要。

来源:Anthropic:Transformer Circuits · transformer-circuits.pub

看完资讯,聊聊你的企业

留下联系方式,我会亲自联系你。

WECHAT

添加我的微信

长按或选中下方微信号复制。