热点榜
热点事件已平息

AI裁判在Arena对战中偏好自身答案,与人类判断差异显著

2 篇报道1 个报道来源15 天前更新

先了解这件事

Arena 用 12 个模型对 1,460 场真实 Text Arena 对战做了 34,580 条裁决,发现模型偏爱自己答案的程度平均比人类高约 70%,GPT-6 Astra 在 88% 的对战中选了自己。OpenAI 三款裁判对 OpenAI 模型比人类宽容 37 分,AI 裁判之间一致率 79.4%,但与人类投票者只有 56.9%;模型很少判平局,Sol 在 96% 的对战中强行选出赢家。

最新进展

Arena 分析 12 个模型的 34,580 条判定:AI 评委平均 58% 偏爱自己的答案

事件进展1

  1. AI模型在Arena对战中偏好自身答案且与人类判断存在显著差异

    Arena:Arena 研究:LLM 裁判偏爱自己答案的概率比人类高 70%

看完资讯,聊聊你的企业

一对一,30 分钟让你的企业用 AI 推动起来。

WECHAT

添加我的微信

长按或选中下方微信号复制。