ARC Prize公布DeepSeek V4.1 Flash评测成绩

先了解这件事

ARC Prize 公布了 DeepSeek-V4.1-Flash 在 ARC-AGI 榜单上的成绩：ARC-AGI-1 得分 94.5%、每任务成本 $0.07，ARC-AGI-2 得分 72.9%、每任务成本 $0.13。相比 V4 Flash 的最佳成绩，ARC-AGI-1 高 5.5 分、ARC-AGI-2 高 11.5 分，但每任务成本高约 250%。完整结果与测试政策见 arcprize.org/results/deepseek-v4-1-flash，结果可通过 GitHub 仓库复现。

ARC Prize 还公布了推理档位对比：在 ARC-AGI-1 上 high 档得分 88.5%，低于 low 档的 90.5%，差异集中在 8 个任务上（high 在 5 个任务上低 4.5 分、3 个任务上高 2.5 分），且 high 多消耗 35% 输出 token。ARC Prize 称 API 问题导致 max 档有 13 个任务、high 档有 8 个任务未完成；在两者均完成的 106 个任务上，max 每任务实际贵 4.5%。

ARC-AGI-3 结果也已公布：使用 provider adapter harness 得分 3.3%、总成本 $878，使用 standard harness 得分 0.9%、总成本 $1.2k。ARC Prize 称这是其评测过的首个在 ARC-AGI-3 上以低于 $1k 总成本得分超过 3% 的模型。