OpenAI 推出 Realtime API,支持构建语音到语音体验
OpenAI 推出 Realtime API,开发者现在可以在应用中构建快速的语音到语音(speech-to-speech)体验。
推荐理由:原文宣布 Realtime API 开放,开发者可以把快速语音到语音体验直接构建进应用。
全球 AI 公司、研究机构和媒体的最新动态,自动挑出值得看的,全天自动更新。
更新于 10月19日 19:00 · 每小时自动更新
OpenAI 推出 Realtime API,开发者现在可以在应用中构建快速的语音到语音(speech-to-speech)体验。
推荐理由:原文宣布 Realtime API 开放,开发者可以把快速语音到语音体验直接构建进应用。
OpenAI 宣布微调 API 支持视觉能力,开发者现可用图像和文本对 GPT-4o 进行微调,以提升其视觉表现。
推荐理由:官方宣布微调 API 支持图文混合数据微调 GPT-4o,开发者可据此定制模型的视觉能力。
OpenAI 在 API 中推出 Prompt Caching 功能,对模型最近见过的输入内容自动提供折扣。该功能面向 API 用户,可降低重复前缀类请求的输入成本。
OpenAI 在其平台上推出 API 模型蒸馏功能,允许用大型前沿模型的输出来微调成本更高效的模型。
推荐理由:官方宣布 API 上线模型蒸馏功能,读者可据此了解用大模型输出微调低成本模型的路径。
OpenAI 封禁了一批疑似属于被追踪为 SweetSpecter 的中国相关威胁行为者的账号。OpenAI 称这些账号利用其 AI 研究漏洞、编写代码,并支持鱼叉式钓鱼活动。
推荐理由:作为当事方封禁通告,说明 SweetSpecter 将 AI 用于漏洞研究、编码和鱼叉式钓鱼的具体环节。
Liquid AI 发布第一代 Liquid Foundation Models(LFM),包含 1.3B、3.1B 和 40.3B MoE(激活参数 12B)三个语言模型,官方称在各规模上取得同级领先质量。
推荐理由:官方发布了三档模型的基准数据和内存表现,并说明非开源决定与边缘部署定位,读者可据此评估是否试用。
传统RAG系统在编码时易丢失上下文,导致检索失败。新方法“上下文检索”通过“上下文嵌入”和“上下文BM25”两项子技术,在检索前为文本块添加解释性上下文,能将检索失败次数减少49%,结合重排序后降幅可达67%,显著提升了下游任务性能。对于小于20万token的小型知识库,可直接将其完整内容放入提示词,结合Claude的提示词缓存功能,能降低超过2倍的延迟和高达90%的成本。对于大型知识库,上下文检索则提供了可扩展的解决方案。
推荐理由:Anthropic 把 RAG 检索失败率砍了 67%,方法不复杂但数据扎实,做知识库的开发者可以直接抄 cookbook 上手,是那种读完当天就能改进生产环境的实用帖。
Runway 与 Lionsgate 达成首创性合作,基于后者超过 20,000 部作品的专有片库定制训练 AI 视频生成模型,供电影制作人在前期和后期流程中增强创作。该模型可生成电影级视频并支持迭代编辑,双方未来计划向个人创作者开放模型授权。
推荐理由:Runway与好莱坞大厂达成首个定制模型合作,标志AI视频正式进入主流影视工业化流程
Mistral 发布开源多模态模型 Pixtral 12B,以 Apache 2.0 许可提供,可作为 Mistral Nemo 12B 的直接替换。
推荐理由:官方发布开源多模态模型,给出了架构细节、MMMU 分数和统一评测对比,可作为同规模开源模型选型的参考。
Mistral 发布 Mistral Small v24.09(220 亿参数,MRL 许可),并在 la Plateforme 推出免费层,全系列模型降价,Mistral Small 和 Codestral 输入价格降幅达 80%。Pixtral 12B 现已在 le Chat 上免费提供视觉能力,该模型基于 Apache 2.0 许可,支持任意尺寸图像且不损失文本性能。
推荐理由:官方一次列出免费层、全系列降价、Mistral Small v24.09 和 Pixtral 12B 视觉能力,适合对照选型和部署成本。
Anthropic可解释性团队在2024年9月分享了其初步研究进展,重点探讨了Transformer模型中普遍存在的“后继头”。这些特定的注意力头专门用于处理序数序列(如数字、星期、月份)中的后继关系。研究采用权重检查、独立成分分析等四种互补方法进行识别,其中评分最高的头能将约80%的序数标记最可能地映射到其后继项。分析还揭示了这些头中存在与类别相关的块状结构。团队强调这些发现属于初步成果,预计未来几个月将发表更详细的研究。
推荐理由:揭示Transformer内部机制,助力AI可解释性研究,对模型调试和安全有参考价值。
ARC Prize 用统一测试框架测得 o1-preview 在 ARC-AGI 公开评测得 21.2%,与 Claude 3.5 Sonnet 的 21% 相当,但每任务平均耗时 4.2 分钟约为其 10 倍。文章认为 o1 实现了训练时和推理时的 CoT 范式,从记忆答案转向记忆推理,但仍限于预训练数据分布内,测试时算力增加虽能对数级提升准确率,实现 AGI 仍需新思路。
推荐理由:ARC Prize 用同一测试框架实测 o1 并给出测试时算力与效率分析,读者可借此理解 o1 在 ARC-AGI 上成绩有限的原因。
OpenAI 发布 o1 模型,官方公告题为 Introducing OpenAI o1。本次抓取未获取到正文,更多细节以官方公告页 https://openai.com/index/introducing-openai-o1-preview 为准。
OpenAI 发布 o1-mini 模型,定位为推进成本高效的推理能力。官方页面暂未披露更多细节。
推荐理由:OpenAI 官方宣布 o1-mini,定位为更具成本效益的推理模型,可作为了解其推理系列布局的入口。
Cognition 公布在 Devin 中测试 o1-mini 和 o1-preview 数周的早期结果:在内部基准 cognition-golden 上,Devin-Base 从 GPT-4o 的 25.9% 提升到 o1-mini 的 34.6%、o1-preview 的 51.8%,生产版 Devin 达 74.2%。
推荐理由:Cognition 作为 Devin 开发方给出 o1 系列的实测对比数据,并完整披露其内部基准 cognition-golden 的评测方法。
作者在书店偶遇计算器历史书籍,顿悟自己热爱这种零依赖的技术产品。计算器作为"大脑插件",仅需太阳能或电池即可工作,无需联网、账户或订阅,不收集数据,即买即用且完全私密。这与当下强制更新、订阅制、数据密集型的复杂科技形成鲜明对比。反思资本主义经济下公司追求股东价值最大化导致技术异化,呼吁开发者和消费者追求计算器式的技术理想——简单、独立、真正为用户服务。
推荐理由:Karpathy借计算器反思现代技术产品哲学,对AI产品设计有启发意义
DeepSeek 将 V2 Chat 与 Coder V2 合并升级为 V2.5,API 用户通过 deepseek-coder 或 deepseek-chat 均可访问。新模型在通用与代码能力上显著提升,ArenaHard winrate 升至 76.3%,HumanEval 达 89%。
推荐理由:DeepSeek 把 coder 和 chat 合并成 V2.5,API 端点不变但性能全线拉高,已有的集成直接受益,代码和通用能力不再是两张皮。
PromptArmor 披露 Slack AI 存在间接提示词注入漏洞,攻击者可在其自建的公开频道发布恶意指令,诱导 Slack AI 把用户私有频道中的 API key 等机密数据嵌入钓鱼链接并渲染给用户,点击后数据被外泄。
推荐理由:报告给出完整攻击链和复现细节,读者可以据此评估 Slack AI 的间接提示词注入风险并调整设置。
OpenAI 在 API 中推出 Structured Outputs 功能,模型输出现在能够可靠地遵循开发者提供的 JSON Schema。
推荐理由:OpenAI 官方宣布 API 输出可遵循开发者提供的 JSON Schema,对需要稳定结构化输出的工程场景有直接参考价值。
DeepSeek 更新 /chat/completions 接口,新增 JSON 输出、Function 调用、对话前缀续写(Beta)及 8K 最长输出(Beta)。同时新增 /completions 接口,支持 FIM 补全(Beta)。
推荐理由:DeepSeek API 这次更新补上了 Function calling 和 JSON 模式,加上 FIM 补全,让开发者的工具调用和代码补全场景有了更完整的方案,虽然都是 Beta 但方向很对。
留下联系方式,我会亲自联系你;想先问问,也可以直接写在下面。消息会实时送到我手上,回复会显示在这里,关掉网页再回来也能看到。