PromptArmor 披露 Writer.com 间接提示词注入导致数据外泄漏洞
PromptArmor 披露 Writer.com 存在间接提示词注入漏洞:攻击者在网页中用白色小字隐藏指令,用户将该网页作为资料源后,LLM 会遵照隐藏指令渲染 markdown 图片或链接,把上传文件内容、聊天记录等敏感数据通过 HTTP 参数外传至攻击者服务器。
推荐理由:原文给出完整攻击链、复现细节和披露时间线,读者可以据此理解间接提示词注入如何在 LLM 应用中导致数据外泄。
全球 AI 公司、研究机构和媒体的最新动态,自动挑出值得看的,全天自动更新。
更新于 10月24日 23:52 · 每小时自动更新
PromptArmor 披露 Writer.com 存在间接提示词注入漏洞:攻击者在网页中用白色小字隐藏指令,用户将该网页作为资料源后,LLM 会遵照隐藏指令渲染 markdown 图片或链接,把上传文件内容、聊天记录等敏感数据通过 HTTP 参数外传至攻击者服务器。
推荐理由:原文给出完整攻击链、复现细节和披露时间线,读者可以据此理解间接提示词注入如何在 LLM 应用中导致数据外泄。
OpenAI 推出 Superalignment Fast Grants,提供 1000 万美元资助超人类 AI 系统的对齐与安全技术研究。资助方向包括弱到强泛化、可解释性、可扩展监督等。
推荐理由:OpenAI 出资支持超人类 AI 对齐研究,给出了资助规模和方向清单,相关研究者可据此判断是否申请。
OpenAI 官宣与 Axel Springer 建立合作伙伴关系,Axel Springer 成为全球首家与 OpenAI 在新闻与 AI 技术深度整合上合作的出版集团。原文仅提供合作宣布摘要,未给出更多细节。
推荐理由:这是 OpenAI 官方宣布的出版业首个深度合作,原文交代了合作方与方向,可作为 AI 与新闻业融合的参考事例。
Hugging Face 发布博客,宣布欢迎 SOTA 混合专家模型 Mixtral 上线 Hugging Face,正文未提供更多细节。
推荐理由:仅标题可用,无法从正文提炼更具体的阅读价值。
Mistral AI 开放 La Plateforme 平台 beta 访问,提供 mistral-tiny、mistral-small、mistral-medium 三个文本生成端点和 mistral-embed 嵌入端点。
推荐理由:官方公布三个文本端点和一个嵌入端点的性能与定价取舍,并附 MT-Bench 和 MTEB 分数,便于开发者按成本与质量选型。
Mistral AI 发布开源权重的稀疏专家模型 Mixtral 8x7B,采用 Apache 2.0 许可证,在多数基准上超过 Llama 2 70B 并以 6 倍推理速度匹配或超过 GPT3.5。
推荐理由:官方发布给出基准对比、参数与成本结构和开源部署方案,读者可以据此评估它在开放权重模型中的位置。
LlamaIndex 发布 AutoTranslateDoc,一款命令行工具,可从 GitHub 仓库抓取 .md 和 .mdx 文档,用 GPT-3.5、GPT-4 分块翻译并自动校验后合并输出。
推荐理由:工具通过分块翻译加多重校验来保证文档翻译质量,并支持差量更新,适合需要维护多语言文档的开发者参考。
LangChain 针对幻灯片场景发布多模态 RAG 模板和包含 10 个问题的公开基准。在 Datadog 财报幻灯片上,多模态嵌入方案 CoT 准确率为 60%,图像摘要加 multi-vector retriever 达 90%,均高于仅文本抽取 RAG 的 20%;作者指出图像检索是核心挑战,并基于 Chroma 与 OpenCLIP 嵌入提供两步启动的部署模板。
推荐理由:原文给出两种多模态 RAG 方案的对比评测与开源模板,读者可以直接复用其基准和部署路径。
LangChain 撰文认为 OpenAI 开发者日发布的 GPTs 和 Assistants API 代表对封闭式 agent 认知架构的押注,即由 LLM 全权决定状态转移。文章指出当前真正可靠的应用多采用复杂链或状态机架构,并强调推送而非拉取上下文能带来更高可控性,同时提出开源认知架构与闭源之争将比模型之争更值得关注。
推荐理由:文章把 GPTs 和 Assistants API 归纳为对封闭 agent 认知架构的押注,并结合 GPT-Researcher 等案例说明为何自定义架构更可控。
LlamaIndex 推出 Llama Packs,一个社区驱动的预打包模块合集,用于快速启动 LLM 应用,已在 LlamaHub 上线 16+ 个与 Streamlit、Weaviate、Voyage AI 等伙伴合作的模板。模块可通过 CLI 或 Python 一行代码下载,支持开箱即用运行 RAG 管线,也可查看和修改全部代码,例如将默认 OpenAI LLM 替换为 Anthropic。
推荐理由:原文给出下载方式和代码示例,读者可以据此了解如何用预打包模块快速搭建 LLM 应用并自由定制。
LlamaIndex 发布 RAGs,一个 Streamlit 应用,无需写代码即可用自然语言创建并定制 RAG pipeline,对自己的数据实现「ChatGPT over your data」。
推荐理由:原文给出了用自然语言搭建 RAG pipeline 的三步流程、可编辑参数清单和开源仓库,读者可以直接部署复用。
LangChain 撰文解读 OpenAI 在 demo day 分享的客户 RAG 实验,将其归纳为基线检索、查询变换、路由、查询构造、索引构建和后处理等类别。
推荐理由:原文将 OpenAI 分享的 RAG 实验逐项拆解,并给出 LangChain 中可直接复用的对应实现入口。
OpenAI 官方宣布领导层变动,材料抓取失败,仅标题可用,具体细节以原文为准。
LlamaIndex 发布 0.9 大版本,引入 IngestionPipeline 数据摄取抽象,转换步骤自动缓存以加速重复运行。
推荐理由:官方梳理了 0.9 的数据摄取缓存、接口精简和 tokenizer 默认值变化,开发者可据此评估升级成本与迁移要点。
LlamaIndex 推出 create-llama 命令行工具,通过 npx create-llama 即可交互式生成一个可与自己数据对话的全栈应用。
推荐理由:原文给出了脚手架工具的技术选项和数据接入方式,开发者可以据此快速判断是否用它搭建 LlamaIndex 应用。
LlamaIndex 发布多模态 RAG 支持能力,新增 OpenAIMultiModal、ReplicateMultiModal、MultiModalEmbedding(CLIP)和 MultiModalVectorStoreIndex 等抽象,可对文本和图像统一索引与检索。
推荐理由:原文由 LlamaIndex 给出多模态 RAG 的新抽象与代码示例,读者可以直接了解 GPT-4V、CLIP 与 Qdrant 在同一管线中的组合方式。
Hugging Face 发布博客,介绍如何用 Latent Consistency LoRAs 将 SDXL 图像生成压缩到 4 步完成。
LlamaIndex 在 OpenAI 开发者日当天更新库,支持 gpt-4-1106-preview(GPT-4 Turbo,128,000 token 上下文窗口、JSON mode、并行函数调用等)和 gpt-4-vision-preview 多模态模型。同时新增 Azure OpenAI 端点、嵌入抽象与函数调用示例,其 RAG 演示 SEC Insights 已改用最新版 GPT-4。
推荐理由:LlamaIndex 当天即完成对 OpenAI 新模型的支持,读者可借此了解新能力在 RAG 工作流中的接入方式。
OpenAI 在 DevDay 上发布 GPT-4 Turbo,支持 128K 上下文且价格更低,同时推出新模型和开发者产品,包括 Assistants API、GPT-4 Turbo with Vision 和 DALL·E 3 API 等。
推荐理由:官方一次性列出多模型与开发者产品更新,128K 上下文和降价信息可帮助开发者评估迁移成本。
OpenAI 推出 GPTs,用户可以创建结合指令、额外知识和任意技能组合的 ChatGPT 自定义版本。
推荐理由:OpenAI 官方宣布用户可自建结合指令、额外知识与技能的定制版 ChatGPT,可据此了解这一新功能的用途。