LlamaIndex 集成 LongLLMLingua:用提示词压缩缓解 RAG 的 Lost in the Middle 并降本
LlamaIndex 介绍如何在 RAG 中使用 LongLLMLingua,通过问题感知的粗粒度重排、细粒度提示词压缩和子序列恢复来增强 LLM 对关键信息的感知。
推荐理由:原文拆解了 LongLLMLingua 的粗细粒度压缩与重排细节,并给出在 LlamaIndex 中作为 NodePostprocessor 的用法,可迁移到自己的 RAG 成本优化。
全球 AI 公司、研究机构和媒体的最新动态,自动挑出值得看的,全天自动更新。
更新于 10月25日 00:41 · 每小时自动更新
LlamaIndex 介绍如何在 RAG 中使用 LongLLMLingua,通过问题感知的粗粒度重排、细粒度提示词压缩和子序列恢复来增强 LLM 对关键信息的感知。
推荐理由:原文拆解了 LongLLMLingua 的粗细粒度压缩与重排细节,并给出在 LlamaIndex 中作为 NodePostprocessor 的用法,可迁移到自己的 RAG 成本优化。
LlamaIndex 用其 Retrieval Evaluation 模块,以 Hit Rate 和 MRR 两项指标评测多种 Embedding 模型(OpenAI、Cohere、Voyage、Jina、bge-large、Google PaLM 等)搭配不同 Reranker 的检索效果。
推荐理由:原文提供了可复现的评测脚本和各嵌入与重排模型组合的 Hit Rate 与 MRR 数据,读者可以照此在自己的数据上选型。
2023 年 11 月 2 日,首届 AI Safety Summit 在 Bletchley Park 举行,英国首相办公室及科学、创新和技术部发布总结。世界领导人与头部公司一致认同先进 AI 风险的重要性以及测试的意义。
推荐理由:主办方官方总结首届峰会成果,读者可从中了解各方对先进 AI 风险与测试重要性达成的共识。
OpenAI 宣布 DALL·E 3 正式在 ChatGPT Plus 和 Enterprise 中可用。官方表示已为更广泛发布构建了安全缓解措施堆栈,并同步分享了来源(provenance)研究的最新进展。
推荐理由:官方宣布 DALL·E 3 上线 ChatGPT Plus 和 Enterprise,并提及安全缓解措施与来源研究进展。
LlamaIndex 发布教程,介绍 LayoutPDFReader 如何结合层级布局信息解析 PDF,实现章节识别、段落合并、表格与列表处理等内容感知分块。文章给出接入 llmsherpa API 和构建 LlamaIndex 向量查询引擎的示例代码,并说明该工具仅支持带文本层的 PDF,暂不支持 OCR。
推荐理由:文章解释了 PDF 解析难点并给出 LayoutPDFReader 的层级解析与智能分块方法,含可直接复用的代码。
Rubric Labs 团队在 LangChain 博客发布指南,讲解为 Cal.com 构建的 AI 邮件调度助手 Cal.ai 的生产架构。
推荐理由:原文拆解了一个已在生产环境运行的邮件调度 Agent 架构,读者可以借鉴其工具设计与提示词构造方法。
云函数平台 Modal 正式全面开放,任何人可注册并在几分钟内于云端运行代码,同时宣布完成由 Redpoint Ventures 领投的 1600 万美元 A 轮融资。
推荐理由:官方宣布开放注册并公布融资,文中列出 GPU 型号、计费方式和 Ramp、Substack、Suno 等生产用户,可了解其定位与用法。
LlamaIndex 演示如何用 Response Evaluation 模块评测 RAG 系统的最佳 chunk size,以 Uber 2021 10K 文件为数据。
推荐理由:原文给出可复现的评测流程和具体数据,读者可以据此在自己的 RAG 场景中测试并选定合适的 chunk size。
Mistral AI 发布 7.3B 参数开源模型 Mistral 7B,采用 Apache 2.0 许可证。官方重跑评测显示其在所有基准上超过 Llama 2 13B,在多项基准上超过 Llama 1 34B,代码性能接近 CodeLlama 7B。
推荐理由:官方发布给出了与 Llama 2 全面的对比评测数据和 GQA、SWA 技术细节,模型以 Apache 2.0 开源可商用。
Mistral AI 发布公司宣言并开源首个 7B 参数模型 Mistral 7B,采用 Apache 2.0 协议,在标准英文和代码基准上超越所有现有 13B 以下开源模型。官方称三个月内组建团队并从零搭建 MLOps 栈与数据处理管线,同时开设 GitHub 仓库和 Discord 频道,未来将陆续发布更大模型。
推荐理由:Mistral AI 阐明开源路线并发布首个模型,读者可了解其定位与 Mistral 7B 的实际性能表现。
OpenAI 发布 GPT-4V(ision) 系统卡,说明该多模态模型的相关信息。
OpenAI 宣布 ChatGPT 新增看、听、说能力。用户可向 ChatGPT 展示图像并进行对话讨论,也可用语音与它交流。
Falcon 180B 模型发布,该内容来自 Hugging Face 官方博客,正文未能抓取,仅有标题信息可用。
OpenAI 发布面向教师的 ChatGPT 课堂使用指南。内容包含建议提示词、ChatGPT 工作原理及其局限性说明、AI 检测器的有效性,以及偏见问题。
推荐理由:官方指南汇总了课堂提示词、模型局限与 AI 检测器效果等要点,教师可据此了解 ChatGPT 在教学中的实际用法。
OpenAI 发布 ChatGPT Enterprise,提供企业级安全与隐私保障,并称这是迄今最强大的 ChatGPT 版本。
推荐理由:OpenAI 官方宣布面向企业的 ChatGPT 版本,主打企业级安全隐私与更强能力,可帮助读者了解其商业产品线动向。
LlamaIndex 发布端到端指南,教你在无标注的非结构化语料上用 LLM 生成合成问题对来微调开源嵌入模型 BAAI/bge-small-en。
推荐理由:原文提供了完整的无标注数据微调嵌入模型方法和评测结果,读者可以直接复用笔记本改进自己的 RAG 检索。
LangChain 发布微调与评测指南,用 LangSmith 做数据集管理和评测,在 CoLab 上以 qLoRA 微调 LLaMA2-7b-chat,并用 50 条样本微调 OpenAI 的 gpt-3.5-turbo,测试任务是知识图谱三元组抽取。
推荐理由:原文给出了从数据集管理到评测的完整微调流程和实测分数,读者可以据此判断小模型微调与 GPT-4 few-shot 的取舍。
OpenAI 宣布开发者可使用自有数据对 GPT-3.5 Turbo 进行微调,以适配各自的使用场景。此次更新同时包含若干 API 更新。
推荐理由:官方宣布开发者可用自有数据微调 GPT-3.5 Turbo,适合关注模型定制入口变化的读者。
LlamaIndex 发布教程,展示如何用 text-to-SQL 数据集微调 Llama 2 并接入 LlamaIndex 对任意 SQL 数据库做结构化分析。
推荐理由:原文给出了微调 Llama 2 做 text-to-SQL 的完整技术栈和前后对比示例,可帮助读者评估微调对结构化分析场景的实际收益。
OpenAI 推出 ChatGPT 自定义指令功能,让用户对 ChatGPT 的回复方式有更多控制。用户设置偏好后,ChatGPT 会在之后的所有对话中记住并遵循这些偏好。
推荐理由:ChatGPT 新增自定义指令功能,用户可一次设定偏好并作用于后续所有对话,便于按需调整回复方式。