《慈爱的机器:关于AI如何造福世界的随笔》
Dario Amodei 发布文章《Machines of Loving Grace》,论述 AI 如何在医疗、贫困、气候等关键领域推动积极变革,描绘技术驱动的乐观未来图景。
推荐理由:Dario Amodei 发布重磅长文,阐述 AI 如何造福世界
全球 AI 公司、研究机构和媒体的最新动态,自动挑出值得看的,全天自动更新。
更新于 10月24日 20:05 · 每小时自动更新
Dario Amodei 发布文章《Machines of Loving Grace》,论述 AI 如何在医疗、贫困、气候等关键领域推动积极变革,描绘技术驱动的乐观未来图景。
推荐理由:Dario Amodei 发布重磅长文,阐述 AI 如何造福世界
OpenAI 推出 canvas,一种与 ChatGPT 协作写作和编码的新方式。
推荐理由:原文来自 OpenAI 官方发布,读者可据此了解 ChatGPT 在写作和编码场景上的新交互方式。
OpenAI 推出 Realtime API,开发者现在可以在应用中构建快速的语音到语音(speech-to-speech)体验。
推荐理由:原文宣布 Realtime API 开放,开发者可以把快速语音到语音体验直接构建进应用。
OpenAI 宣布微调 API 支持视觉能力,开发者现可用图像和文本对 GPT-4o 进行微调,以提升其视觉表现。
推荐理由:官方宣布微调 API 支持图文混合数据微调 GPT-4o,开发者可据此定制模型的视觉能力。
OpenAI 在 API 中推出 Prompt Caching 功能,对模型最近见过的输入内容自动提供折扣。该功能面向 API 用户,可降低重复前缀类请求的输入成本。
OpenAI 在其平台上推出 API 模型蒸馏功能,允许用大型前沿模型的输出来微调成本更高效的模型。
推荐理由:官方宣布 API 上线模型蒸馏功能,读者可据此了解用大模型输出微调低成本模型的路径。
OpenAI 封禁了一批疑似属于被追踪为 SweetSpecter 的中国相关威胁行为者的账号。OpenAI 称这些账号利用其 AI 研究漏洞、编写代码,并支持鱼叉式钓鱼活动。
推荐理由:作为当事方封禁通告,说明 SweetSpecter 将 AI 用于漏洞研究、编码和鱼叉式钓鱼的具体环节。
Liquid AI 发布第一代 Liquid Foundation Models(LFM),包含 1.3B、3.1B 和 40.3B MoE(激活参数 12B)三个语言模型,官方称在各规模上取得同级领先质量。
推荐理由:官方发布了三档模型的基准数据和内存表现,并说明非开源决定与边缘部署定位,读者可据此评估是否试用。
Hugging Face 官方博客宣布 Llama 3.2 发布,新模型可处理图像并支持在设备端运行。
传统RAG系统在编码时易丢失上下文,导致检索失败。新方法“上下文检索”通过“上下文嵌入”和“上下文BM25”两项子技术,在检索前为文本块添加解释性上下文,能将检索失败次数减少49%,结合重排序后降幅可达67%,显著提升了下游任务性能。对于小于20万token的小型知识库,可直接将其完整内容放入提示词,结合Claude的提示词缓存功能,能降低超过2倍的延迟和高达90%的成本。对于大型知识库,上下文检索则提供了可扩展的解决方案。
推荐理由:Anthropic 把 RAG 检索失败率砍了 67%,方法不复杂但数据扎实,做知识库的开发者可以直接抄 cookbook 上手,是那种读完当天就能改进生产环境的实用帖。
Runway 与 Lionsgate 达成首创性合作,基于后者超过 20,000 部作品的专有片库定制训练 AI 视频生成模型,供电影制作人在前期和后期流程中增强创作。该模型可生成电影级视频并支持迭代编辑,双方未来计划向个人创作者开放模型授权。
推荐理由:Runway与好莱坞大厂达成首个定制模型合作,标志AI视频正式进入主流影视工业化流程
Mistral 发布开源多模态模型 Pixtral 12B,以 Apache 2.0 许可提供,可作为 Mistral Nemo 12B 的直接替换。
推荐理由:官方发布开源多模态模型,给出了架构细节、MMMU 分数和统一评测对比,可作为同规模开源模型选型的参考。
Mistral 发布 Mistral Small v24.09(220 亿参数,MRL 许可),并在 la Plateforme 推出免费层,全系列模型降价,Mistral Small 和 Codestral 输入价格降幅达 80%。Pixtral 12B 现已在 le Chat 上免费提供视觉能力,该模型基于 Apache 2.0 许可,支持任意尺寸图像且不损失文本性能。
推荐理由:官方一次列出免费层、全系列降价、Mistral Small v24.09 和 Pixtral 12B 视觉能力,适合对照选型和部署成本。
Anthropic可解释性团队在2024年9月分享了其初步研究进展,重点探讨了Transformer模型中普遍存在的“后继头”。这些特定的注意力头专门用于处理序数序列(如数字、星期、月份)中的后继关系。研究采用权重检查、独立成分分析等四种互补方法进行识别,其中评分最高的头能将约80%的序数标记最可能地映射到其后继项。分析还揭示了这些头中存在与类别相关的块状结构。团队强调这些发现属于初步成果,预计未来几个月将发表更详细的研究。
推荐理由:揭示Transformer内部机制,助力AI可解释性研究,对模型调试和安全有参考价值。
ARC Prize 用统一测试框架测得 o1-preview 在 ARC-AGI 公开评测得 21.2%,与 Claude 3.5 Sonnet 的 21% 相当,但每任务平均耗时 4.2 分钟约为其 10 倍。文章认为 o1 实现了训练时和推理时的 CoT 范式,从记忆答案转向记忆推理,但仍限于预训练数据分布内,测试时算力增加虽能对数级提升准确率,实现 AGI 仍需新思路。
推荐理由:ARC Prize 用同一测试框架实测 o1 并给出测试时算力与效率分析,读者可借此理解 o1 在 ARC-AGI 上成绩有限的原因。
OpenAI 发布 o1 模型,官方公告题为 Introducing OpenAI o1。本次抓取未获取到正文,更多细节以官方公告页 https://openai.com/index/introducing-openai-o1-preview 为准。
OpenAI 发布 o1-mini 模型,定位为推进成本高效的推理能力。官方页面暂未披露更多细节。
推荐理由:OpenAI 官方宣布 o1-mini,定位为更具成本效益的推理模型,可作为了解其推理系列布局的入口。
Cognition 公布在 Devin 中测试 o1-mini 和 o1-preview 数周的早期结果:在内部基准 cognition-golden 上,Devin-Base 从 GPT-4o 的 25.9% 提升到 o1-mini 的 34.6%、o1-preview 的 51.8%,生产版 Devin 达 74.2%。
推荐理由:Cognition 作为 Devin 开发方给出 o1 系列的实测对比数据,并完整披露其内部基准 cognition-golden 的评测方法。
作者在书店偶遇计算器历史书籍,顿悟自己热爱这种零依赖的技术产品。计算器作为"大脑插件",仅需太阳能或电池即可工作,无需联网、账户或订阅,不收集数据,即买即用且完全私密。这与当下强制更新、订阅制、数据密集型的复杂科技形成鲜明对比。反思资本主义经济下公司追求股东价值最大化导致技术异化,呼吁开发者和消费者追求计算器式的技术理想——简单、独立、真正为用户服务。
推荐理由:Karpathy借计算器反思现代技术产品哲学,对AI产品设计有启发意义
DeepSeek-V2.5 保留原有 Chat 模型的通用对话能力和 Coder 模型的代码处理能力,并更好地对齐人类偏好。
推荐理由:DeepSeek首次将通用对话与代码能力合一的开源模型,当时直接拉低了多任务成本,今天看仍是模型混合能力演变的早期标杆。