OpenAI API 取消等候名单,全面开放使用
OpenAI 宣布其 API 取消等候名单,开放更广泛的使用。OpenAI 表示,更广泛的开放得益于安全方面的进展。
推荐理由:原文说明开放原因是安全性进展,读者可以了解 OpenAI API 使用门槛的降低节点。
全球 AI 公司、研究机构和媒体的最新动态,自动挑出值得看的,全天自动更新。
更新于 10月25日 04:18 · 每小时自动更新
OpenAI 宣布其 API 取消等候名单,开放更广泛的使用。OpenAI 表示,更广泛的开放得益于安全方面的进展。
推荐理由:原文说明开放原因是安全性进展,读者可以了解 OpenAI API 使用门槛的降低节点。
Hugging Face 发布 Spaces 功能,用户可以在其中使用 Gradio 展示自己的项目。正文抓取失败,仅标题可用,更多细节以原文为准。
OpenAI 发布改进版 Codex,该系统可将自然语言翻译为代码,即日起通过 API 以私有测试版形式开放。
推荐理由:OpenAI 官方宣布 Codex 改进版上线 API 私测,读者可以据此了解自然语言转代码能力的开放入口。
OpenAI 发布 Triton 1.0,一种类 Python 的开源编程语言。它让没有 CUDA 经验的研究者也能写出高效 GPU 代码,多数情况下效率与专家手写代码相当。
推荐理由:官方发布口径直接点明了 Triton 的核心价值,让无 CUDA 经验的研究者也能写出接近专家水平的 GPU 代码。
OpenAI 发布论文《Evaluating large language models trained on code》,主题是在代码上训练的大语言模型的评估。(仅标题可用,正文抓取失败)
本练习集旨在通过动手编写注意力头的具体权重矩阵,从参数层面精确理解Transformer工作机制。内容涵盖:详解注意力头中W_Q、W_K、W_V、W_out矩阵的作用;分析读写子空间的控制矩阵及其乘积意义;探讨如何用两个矩阵等效表示注意力头及其秩的含义;研究跨层注意力头如何通过矩阵运算传递信息。并通过具体数值示例,演示多个“前词注意力头”如何协作实现“查看前两个词”的虚拟功能,以及手动构建实现“归纳头”的“指针算法”步骤。
推荐理由:帮助开发者亲手拆解Transformer内部机制,提升可解释性研究能力。
OpenAI 宣布训练出神经网络 DALL·E,可根据自然语言文本描述生成图像,覆盖广泛可用自然语言表达的概念。
推荐理由:OpenAI 官方宣布文本生成图像模型 DALL·E,读者可据此了解文生图方向的早期源头。
OpenAI 推出神经网络 CLIP,能通过自然语言监督高效学习视觉概念。只需提供待识别视觉类别的名称,CLIP 即可应用于任何视觉分类基准,类似 GPT-2 和 GPT-3 的零样本能力。
推荐理由:原文说明 CLIP 用自然语言监督学习视觉概念并可零样本套用于分类基准,读者可了解其与 GPT 系列零样本思路的关联。
OpenAI 宣布已同意将 GPT-3 授权给 Microsoft,供其用于自有产品和服务。
推荐理由:官方宣布将 GPT-3 独家授权给 Microsoft 用于其产品和服务,读者可以了解当时大模型商业授权的早期形态。
曾与创始人合作、现与研究人员共事的作者发现,尽管两类人差异显著,但顶尖者都思考"领域内最重要的问题"、兼具短期专注与长期视野、极度坚持、偏向行动、创意丰富且重视自主,动机常源于好奇心。
推荐理由:Sam Altman深度剖析顶尖研究者与创始人的共同特质
OpenAI 发布 API,供外界访问其开发的新 AI 模型。
推荐理由:OpenAI 官方宣布开放 API 访问其新模型,原文虽短,但可直接了解其对外提供模型访问的方式。
YC 曾实验资助无想法的优秀创始人,结果全部失败,证明创始人必须自身擅长产生想法。要身处正确环境:周围需有对未来敏感、乐观、想法丰富的人,远离愤世嫉俗者。关注重大结构性转变,区分真实与虚假趋势。评估想法时考虑能否做大、创始人与公司是否匹配,以及能否解释为何大多数人认为是坏主意但你看到价值。
推荐理由:Sam Altman 分享识别技术趋势的方法论,称适用于 AI 发展
OpenAI 发布论文 Language models are few-shot learners,探讨语言模型的少样本学习能力。原文正文抓取失败,仅标题可用。
OpenAI 发布分析,指出自 2012 年以来,在 ImageNet 分类上达到同等性能所需训练算力每 16 个月下降一半。达到 AlexNet 水平如今所需算力比 2012 年少 44 倍,而同期摩尔定律只能带来 11 倍的成本改进;结果表明在近期投入较高的 AI 任务上,算法进步带来的收益超过传统硬件效率提升。
推荐理由:OpenAI 用 ImageNet 分类数据量化算法进步的速度,读者可据此比较算法效率与摩尔定律的贡献差异。
OpenAI 发布 Jukebox,一个可直接以原始音频形式生成音乐的神经网络,支持多种流派和艺术家风格,包括初步的歌声。OpenAI 同时开源模型权重和代码,并提供探索生成样本的工具。
推荐理由:原文给出 Jukebox 以原始音频生成含人声音乐的核心能力,并说明开放模型权重与代码,读者可据此评估其可复用性。
Hugging Face 发布教程,讲解在 Transformers 中使用不同解码方法进行语言生成。文章覆盖多种 decoding 方法的选择与使用方式,原文正文未能抓取,仅标题可用。
推荐理由:原文系统讲解 Transformers 中不同文本解码方法的用法与差异,读者可按需选择生成策略。
OpenAI 报告 double descent 现象普遍存在于 CNN、ResNet 和 transformers 中:随着模型规模、数据量或训练时间增大,性能先改善、再变差、然后再次改善。该效应常可通过仔细的正则化来规避,作者表示其成因尚未被充分理解,并将其列为重要的研究方向。
推荐理由:原文指出模型规模、数据量或训练时间增大时性能先降后升的普遍现象,并把它列为值得进一步研究的方向。
OpenAI 发布 GPT-2 分阶段发布的最终版本,即 1.5B 参数的最大版本,同时公开代码和模型权重以帮助检测 GPT-2 模型的输出。OpenAI 表示自 8 月以来已有更大的语言模型发布,但坚持按原计划完成分阶段发布,为社区提供一个完整的分阶段发布流程案例,并继续与 AI 社区探讨负责任发布。
推荐理由:OpenAI 以完整分阶段发布作为案例放出 1.5B 版本,读者可借此了解负责任发布的实际过程。
OpenAI 训练了一对神经网络,用类人机器手还原魔方。神经网络完全在仿真环境中训练,使用与 OpenAI Five 相同的强化学习代码,并配合一种名为 Automatic Domain Randomization(ADR)的新技术。系统能应对训练中从未见过的情况,例如被长颈鹿玩偶戳碰,说明强化学习不只能用于虚拟任务,也能解决需要极高灵巧度的现实世界问题。
推荐理由:原文说明了 ADR 方法与全仿真训练思路,可帮助读者理解强化学习从虚拟任务走向真实机械手操作的技术路径。
OpenAI 用人类反馈微调 774M 参数 GPT-2,在多项任务上匹配了外部标注者的偏好。摘要任务用了 6 万条人工标注,风格续写等较简单任务只需 5 千条;标注者偏好摘要整句照抄原文,导致模型学会照抄。OpenAI 表示此举意在让安全技术更接近'机器与人对话'这一通用任务。
推荐理由:原文给出人类偏好微调 GPT-2 的任务结果与标注成本,并暴露标注偏好与作者意图不一致的问题。