AI 每天都在变，
这里一页看完

OpenAI 开源 Triton 1.0：让研究者无需 CUDA 经验也能写高效 GPU 代码

OpenAI 发布 Triton 1.0，一种类 Python 的开源编程语言。它让没有 CUDA 经验的研究者也能写出高效 GPU 代码，多数情况下效率与专家手写代码相当。

推荐理由：官方发布口径直接点明了 Triton 的核心价值，让无 CUDA 经验的研究者也能写出接近专家水平的 GPU 代码。

OpenAI 发表针对代码训练大语言模型的评估研究

OpenAI 发布论文《Evaluating large language models trained on code》，主题是在代码上训练的大语言模型的评估。（仅标题可用，正文抓取失败）

Transformer电路逆向工程练习题集

本练习集旨在通过动手编写注意力头的具体权重矩阵，从参数层面精确理解Transformer工作机制。内容涵盖：详解注意力头中W_Q、W_K、W_V、W_out矩阵的作用；分析读写子空间的控制矩阵及其乘积意义；探讨如何用两个矩阵等效表示注意力头及其秩的含义；研究跨层注意力头如何通过矩阵运算传递信息。并通过具体数值示例，演示多个“前词注意力头”如何协作实现“查看前两个词”的虚拟功能，以及手动构建实现“归纳头”的“指针算法”步骤。

推荐理由：帮助开发者亲手拆解Transformer内部机制，提升可解释性研究能力。

OpenAI 发布 DALL·E：从文本描述生成图像

OpenAI 宣布训练出神经网络 DALL·E，可根据自然语言文本描述生成图像，覆盖广泛可用自然语言表达的概念。

推荐理由：OpenAI 官方宣布文本生成图像模型 DALL·E，读者可据此了解文生图方向的早期源头。

OpenAI 发布 CLIP：连接文本与图像的神经网络

OpenAI 推出神经网络 CLIP，能通过自然语言监督高效学习视觉概念。只需提供待识别视觉类别的名称，CLIP 即可应用于任何视觉分类基准，类似 GPT-2 和 GPT-3 的零样本能力。

推荐理由：原文说明 CLIP 用自然语言监督学习视觉概念并可零样本套用于分类基准，读者可了解其与 GPT 系列零样本思路的关联。

OpenAI 将 GPT-3 技术授权给 Microsoft

OpenAI 宣布已同意将 GPT-3 授权给 Microsoft，供其用于自有产品和服务。

推荐理由：官方宣布将 GPT-3 独家授权给 Microsoft 用于其产品和服务，读者可以了解当时大模型商业授权的早期形态。

研究人员与创始人

曾与创始人合作、现与研究人员共事的作者发现，尽管两类人差异显著，但顶尖者都思考"领域内最重要的问题"、兼具短期专注与长期视野、极度坚持、偏向行动、创意丰富且重视自主，动机常源于好奇心。

推荐理由：Sam Altman深度剖析顶尖研究者与创始人的共同特质

OpenAI 发布 API，开放访问其新 AI 模型

OpenAI 发布 API，供外界访问其开发的新 AI 模型。

推荐理由：OpenAI 官方宣布开放 API 访问其新模型，原文虽短，但可直接了解其对外提供模型访问的方式。

如何获得创业想法

YC 曾实验资助无想法的优秀创始人，结果全部失败，证明创始人必须自身擅长产生想法。要身处正确环境：周围需有对未来敏感、乐观、想法丰富的人，远离愤世嫉俗者。关注重大结构性转变，区分真实与虚假趋势。评估想法时考虑能否做大、创始人与公司是否匹配，以及能否解释为何大多数人认为是坏主意但你看到价值。

推荐理由：Sam Altman 分享识别技术趋势的方法论，称适用于 AI 发展

OpenAI 发布论文 Language models are few-shot learners

OpenAI 发布论文 Language models are few-shot learners，探讨语言模型的少样本学习能力。原文正文抓取失败，仅标题可用。

OpenAI 分析：训练神经网络所需算力每 16 个月减半

OpenAI 发布分析，指出自 2012 年以来，在 ImageNet 分类上达到同等性能所需训练算力每 16 个月下降一半。达到 AlexNet 水平如今所需算力比 2012 年少 44 倍，而同期摩尔定律只能带来 11 倍的成本改进；结果表明在近期投入较高的 AI 任务上，算法进步带来的收益超过传统硬件效率提升。

推荐理由：OpenAI 用 ImageNet 分类数据量化算法进步的速度，读者可据此比较算法效率与摩尔定律的贡献差异。

OpenAI 发布音乐生成模型 Jukebox 并开源权重与代码

OpenAI 发布 Jukebox，一个可直接以原始音频形式生成音乐的神经网络，支持多种流派和艺术家风格，包括初步的歌声。OpenAI 同时开源模型权重和代码，并提供探索生成样本的工具。

推荐理由：原文给出 Jukebox 以原始音频生成含人声音乐的核心能力，并说明开放模型权重与代码，读者可据此评估其可复用性。

OpenAI 发现深度学习中的深度双下降现象

OpenAI 报告 double descent 现象普遍存在于 CNN、ResNet 和 transformers 中：随着模型规模、数据量或训练时间增大，性能先改善、再变差、然后再次改善。该效应常可通过仔细的正则化来规避，作者表示其成因尚未被充分理解，并将其列为重要的研究方向。

推荐理由：原文指出模型规模、数据量或训练时间增大时性能先降后升的普遍现象，并把它列为值得进一步研究的方向。

OpenAI 发布 GPT-2 最大版本 1.5B 参数模型及代码与权重

OpenAI 发布 GPT-2 分阶段发布的最终版本，即 1.5B 参数的最大版本，同时公开代码和模型权重以帮助检测 GPT-2 模型的输出。OpenAI 表示自 8 月以来已有更大的语言模型发布，但坚持按原计划完成分阶段发布，为社区提供一个完整的分阶段发布流程案例，并继续与 AI 社区探讨负责任发布。

推荐理由：OpenAI 以完整分阶段发布作为案例放出 1.5B 版本，读者可借此了解负责任发布的实际过程。

OpenAI 用机器手训练神经网络还原魔方

OpenAI 训练了一对神经网络，用类人机器手还原魔方。神经网络完全在仿真环境中训练，使用与 OpenAI Five 相同的强化学习代码，并配合一种名为 Automatic Domain Randomization（ADR）的新技术。系统能应对训练中从未见过的情况，例如被长颈鹿玩偶戳碰，说明强化学习不只能用于虚拟任务，也能解决需要极高灵巧度的现实世界问题。

推荐理由：原文说明了 ADR 方法与全仿真训练思路，可帮助读者理解强化学习从虚拟任务走向真实机械手操作的技术路径。

OpenAI 用人类偏好微调 774M 参数 GPT-2

OpenAI 用人类反馈微调 774M 参数 GPT-2，在多项任务上匹配了外部标注者的偏好。摘要任务用了 6 万条人工标注，风格续写等较简单任务只需 5 千条；标注者偏好摘要整句照抄原文，导致模型学会照抄。OpenAI 表示此举意在让安全技术更接近'机器与人对话'这一通用任务。

推荐理由：原文给出人类偏好微调 GPT-2 的任务结果与标注成本，并暴露标注偏好与作者意图不一致的问题。

OpenAI 在多智能体躲猫猫游戏中观察到自发工具使用

OpenAI 报告在新构建的模拟躲猫猫环境中，智能体通过多智能体对抗训练自发学会逐步复杂的工具使用。智能体形成了六种不同的策略与反策略，其中一些是团队事先不知道环境支持的。作者认为这种自监督涌现的复杂性表明，多智能体共同适应未来可能产生极复杂且智能的行为。

推荐理由：原文记录了多智能体在躲猫猫环境中自发形成的六种策略与反策略，可帮助读者理解多智能体协同如何催生复杂行为。

OpenAI 发布 774M 参数版 GPT-2 并分享分阶段发布经验

OpenAI 发布 774M 参数的 GPT-2 语言模型，此前已于 2 月发布 124M 小型版、5 月分阶段发布 355M 中型版，并与合作伙伴及 AI 社区研究了模型的滥用风险与社会效益。同时发布一份开源法律协议以便组织间建立模型共享合作，并发布关于与 AI 研究社区协调发布规范经验的技术报告。

推荐理由：原文交代了 GPT-2 分阶段发布策略的推进节奏，并附带模型共享法律协议与发布规范报告，可了解负责任发布实践。

Microsoft 向 OpenAI 投资 10 亿美元并达成 AGI 合作

Microsoft 向 OpenAI 投资 10 亿美元，支持其构建具有广泛分配经济收益的 AGI。双方将在 Microsoft Azure 内共同开发可扩展至 AGI 的软硬件平台和新的 Azure AI 超算技术，Microsoft 将成为 OpenAI 的独家云服务商。

推荐理由：OpenAI 官方说明这笔 10 亿美元投资的具体用途和合作范围，可了解双方在 Azure 上共建 AGI 平台的安排。

OpenAI Five 击败 Dota 2 世界冠军战队 OG

OpenAI Five 在周末的决赛中连赢两局击败 Dota 2 世界冠军战队 OG，成为首个战胜电竞世界冠军的 AI，也是 AI 首次在直播比赛中战胜电竞职业选手。此前 OpenAI Five 与 DeepMind 的 AlphaStar 都曾在私下对局中战胜优秀职业选手，但在公开职业比赛中落败。

推荐理由：原文记录了 AI 首次在公开直播比赛中击败电竞世界冠军的节点，并交代了与此前私下对局结果的对比背景。