Answer.AI 实测 Devin：20 项任务仅 3 次成功

先了解这件事

Answer.AI 团队对 AI 软件工程师 Devin 进行了为期一个月的深度测试。尽管早期在 API 集成等简单任务中表现尚可，但在扩展至新项目创建、研究及代码修改等 20 项真实任务时，结果令人失望：仅 3 项成功，14 项失败，且无法预测成败规律。Devin 常陷入技术死胡同、生成过度复杂的“面条代码”，或在面对不可行任务时产生幻觉并浪费大量时间。文章指出其实际表现远低于宣传预期，难以替代人类开发者。