ARC 发布 Claude 与 GPT-4 危险能力评测进展
ARC 作为第三方评估方与 Anthropic、OpenAI 等实验室合作,在受控环境中测试前沿模型自主获取资源、逃避人工监督的危险能力。结论是被测的 Claude 和 GPT-4 版本均未能产出可信的完整自主复制计划,执行中易出错、有幻觉、难以在多副本间分派任务,但能部分完成浏览网页、雇佣人类代办、制定长期计划等子任务。
推荐理由:ARC 公布了危险能力评测的动机、方法与结论,读者可以了解模型自主复制能力的评估方式。
全球 AI 公司、研究机构和媒体的最新动态,自动挑出值得看的,全天自动更新。
更新于 10月20日 02:52 · 每小时自动更新
ARC 作为第三方评估方与 Anthropic、OpenAI 等实验室合作,在受控环境中测试前沿模型自主获取资源、逃避人工监督的危险能力。结论是被测的 Claude 和 GPT-4 版本均未能产出可信的完整自主复制计划,执行中易出错、有幻觉、难以在多副本间分派任务,但能部分完成浏览网页、雇佣人类代办、制定长期计划等子任务。
推荐理由:ARC 公布了危险能力评测的动机、方法与结论,读者可以了解模型自主复制能力的评估方式。
研究发现Transformer模型的残差流中存在“特权基向量”现象,即某些坐标方向持续出现异常大的激活值,这与“无特权基”的理论预期相悖。通过实验,研究者将根源指向Adam优化器中的逐维度归一化器,而非层归一化或浮点精度问题。在2亿参数模型中,典型层有20至60个维度的激活绝对值超过6。研究还提出使用峰度作为检测指标,发现激活分布峰度普遍大于3,进一步证实了基向量对称性被破坏。
推荐理由:揭示Transformer内部基依赖性的根源,帮助研究者改进模型可解释性。
OpenAI 发布 GPT-4,称其为扩展深度学习的最新里程碑。GPT-4 是接受图像和文本输入、输出文本的大型多模态模型,在多项专业和学术基准上达到人类水平表现,但在许多现实场景中仍不及人类。
推荐理由:官方原文明确了 GPT-4 的多模态输入形态和基准表现定位,可作为了解该模型能力边界的直接信源。
OpenAI 发布 GPT-4。官方介绍其可生成、编辑并与用户迭代创意和技术写作任务,如创作歌曲、编写剧本或学习用户的写作风格。
推荐理由:OpenAI 官方介绍 GPT-4 在创意与技术写作上可与用户迭代协作,适合关注其文本能力边界的读者。
LangChain 与社区成员 Francisco Ingham、Jon Luo 发布 LLM 与 SQL 结合的实践指南,并宣布 3 月 22 日举行一小时网络研讨会。
推荐理由:LangChain 团队系统整理了让 LLM 生成有效 SQL 的三类问题与对应解法,方法可直接迁移到自己的 Text-to-SQL 场景。
OpenAI 为 ChatGPT 推出试点订阅计划 ChatGPT Plus。ChatGPT 是一款对话式 AI,可与用户聊天、回答追问并纠正错误假设。
推荐理由:OpenAI 官方宣布订阅计划,读者可以据此了解 ChatGPT 的商业化入口。
OpenAI 训练了名为 ChatGPT 的模型,能以对话方式交互。对话格式让 ChatGPT 可以回答追问、承认错误、质疑错误前提并拒绝不当请求。
推荐理由:OpenAI 官方首次介绍 ChatGPT,说明对话式交互在追问、纠错和拒答上的设计意图,可作为理解该产品起点的一手材料。
OpenAI 宣布 DALL·E API 即日起开放公测,开发者可以开始使用该 API 构建应用。
推荐理由:OpenAI 官方开放 DALL·E API 公测,开发者可以直接据此评估是否将图像生成接入自己的应用。
OpenAI 宣布 DALL·E 取消候补名单,新用户可以立即开始生成图像。官方表示这一更广泛的开放来自部署中积累的经验和安全系统的改进。
推荐理由:原文说明开放注册的前提来自部署经验与安全系统改进,读者可以据此理解其放开访问的背景。
OpenAI 训练并开源了名为 Whisper 的神经网络,其英文语音识别的稳健性和准确率接近人类水平。
推荐理由:原文来自 OpenAI 官方,点明 Whisper 在英文语音识别上的稳健性和准确率接近人类水平,并直接开源。
Anthropic 发布论文 Toy Models of Superposition,用稀疏合成数据训练的小型 ReLU 网络首次明确演示了神经网络可以在维度不足的情况下以叠加方式表示更多特征。
推荐理由:论文用小型 ReLU 网络直接演示了特征叠加现象,并给出相变和几何结构的理论解释,为理解神经元多义性提供了可参考的框架。
OpenAI 为 DALL·E 推出 outpainting 功能,可在原图之外继续扩展画面,支持任意尺寸的图像创作,用于延展创意并讲述更完整的故事。
OpenAI 宣布 DALL·E 开放测试,未来几周内将从候补名单邀请 100 万人使用。用户每月可获得免费生成额度,额外额度按 115 次生成 15 美元的价格购买。
推荐理由:原文明确了邀请规模和付费定价,读者可以了解 DALL·E 测试版的获取方式与使用成本。
OpenAI 通过 Video PreTraining(VPT)在大量无标注人类 Minecraft 游玩视频上训练神经网络,仅使用少量承包商标注数据,微调后模型可合成钻石工具,这一任务熟练人类通常需要超过 20 分钟、约 24,000 个操作。模型使用键盘和鼠标的原生人类接口,是迈向通用计算机操作智能体的一步。
推荐理由:原文说明 VPT 用少量标注数据配合海量无标注视频训练模型,读者可了解这种半监督路线对训练通用智能体的参考价值。
OpenAI 发布题为 Hierarchical text-conditional image generation with CLIP latents 的研究,提出基于 CLIP 潜变量的分层文本条件图像生成方法。正文抓取失败,仅标题可用,细节以原文页面为准。
OpenAI 训练出比 GPT-3 更能遵循用户意图的 InstructGPT 模型,同时更真实、毒性更低。模型采用人在回路的对齐研究技术训练,现已作为 OpenAI API 的默认语言模型部署。
推荐理由:原文说明了对齐训练带来的意图遵循与真实性改进,以及 InstructGPT 成为 API 默认模型这一关键落地变化。
OpenAI 在 API 中推出 embeddings 新端点,用于自然语言和代码任务。该端点可支持语义搜索、聚类、主题建模和分类等应用。
推荐理由:原文给出了新的 embeddings 端点及其适用任务,读者可据此判断能否用于搜索、聚类或分类类需求。
OpenAI 宣布可为应用定制 GPT-3,通过微调(fine-tuning)适配自身场景。官方称只需一条命令即可完成微调。
推荐理由:OpenAI 官方宣布以单条命令即可对 GPT-3 做应用定制微调,降低了把基座模型适配到具体业务场景的门槛。
OpenAI 宣布其 API 取消等候名单,开放更广泛的使用。OpenAI 表示,更广泛的开放得益于安全方面的进展。
推荐理由:原文说明开放原因是安全性进展,读者可以了解 OpenAI API 使用门槛的降低节点。
OpenAI 发布改进版 Codex,该系统可将自然语言翻译为代码,即日起通过 API 以私有测试版形式开放。
推荐理由:OpenAI 官方宣布 Codex 改进版上线 API 私测,读者可以据此了解自然语言转代码能力的开放入口。
留下联系方式,我会亲自联系你;想先问问,也可以直接写在下面。消息会实时送到我手上,回复会显示在这里,关掉网页再回来也能看到。