LlamaIndex 推出 SQLAutoVectorQueryEngine,结合 Text-to-SQL 与语义搜索完成 RAG 查询
LlamaIndex 在博客中展示新查询引擎 SQLAutoVectorQueryEngine,可同时利用 SQL 数据库和向量数据库回答同时涉及结构化与非结构化数据的自然语言查询。
推荐理由:原文给出 SQLAutoVectorQueryEngine 的工作流程、示例代码和实验结果,读者可以照着复现结构化与非结构化数据的组合查询。
全球 AI 公司、研究机构和媒体的最新动态,自动挑出值得看的,全天自动更新。
更新于 10月16日 03:01 · 每小时自动更新
LlamaIndex 在博客中展示新查询引擎 SQLAutoVectorQueryEngine,可同时利用 SQL 数据库和向量数据库回答同时涉及结构化与非结构化数据的自然语言查询。
推荐理由:原文给出 SQLAutoVectorQueryEngine 的工作流程、示例代码和实验结果,读者可以照着复现结构化与非结构化数据的组合查询。
LangChain 发布技术博客,对比近两周流行的 AutoGPT、BabyAGI、CAMEL 和 Generative Agents 四个 Agent 项目,将其分为自主智能体与智能体模拟两类。
推荐理由:原文对比 AutoGPT、BabyAGI、CAMEL 等项目的新颖点,并说明 LangChain 已复刻哪些部分,读者可据此了解各框架差异与可复用实现。
Hugging Face 发布 StackLLaMA 教程,手把手讲解如何用 RLHF 方法训练 LLaMA 模型,覆盖完整训练流程。
推荐理由:这是一份手把手教程,讲解如何用 RLHF 训练 LLaMA,读者可跟随步骤复现完整训练流程。
ARC 作为第三方评估方与 Anthropic、OpenAI 等实验室合作,在受控环境中测试前沿模型自主获取资源、逃避人工监督的危险能力。结论是被测的 Claude 和 GPT-4 版本均未能产出可信的完整自主复制计划,执行中易出错、有幻觉、难以在多副本间分派任务,但能部分完成浏览网页、雇佣人类代办、制定长期计划等子任务。
推荐理由:ARC 公布了危险能力评测的动机、方法与结论,读者可以了解模型自主复制能力的评估方式。
LangChain 与社区成员 Francisco Ingham、Jon Luo 发布 LLM 与 SQL 结合的实践指南,并宣布 3 月 22 日举行一小时网络研讨会。
推荐理由:LangChain 团队系统整理了让 LLM 生成有效 SQL 的三类问题与对应解法,方法可直接迁移到自己的 Text-to-SQL 场景。
Hugging Face 发布博客,讲解如何在 24GB 消费级 GPU 上用 RLHF 微调 20B 参数大语言模型,文中涉及 TRL 与 PEFT(见原文链接 https://huggingface.co/blog/trl-peft)。正文抓取失败,仅标题可用,更多细节以原文为准。
Hugging Face 发布系列教程第一篇,讲解如何用 Stable Diffusion 为 Unity 农场游戏确定美术风格。文章涵盖用 Automatic1111 WebUI 本地部署或在线运行的方法、借助 lexica.art 优化提示词的技巧,以及用概念图指导 Unity 场景搭建、材质、灯光和后期处理的完整流程。
推荐理由:系列第一篇给出用 Stable Diffusion 生成美术概念图并落地到 Unity 场景的完整步骤,方法可直接迁移到游戏开发流程。
Hugging Face 发布教程,讲解如何用 🤗 transformers 运行 CLIPSeg 实现零样本图像分割。
推荐理由:教程结合示例代码讲解 CLIPSeg 的文本与图像提示用法,还给出粗标注后在 Segments.ai 精修的可迁移流程。
Hugging Face 发布长文图解 RLHF,将其拆为预训练语言模型、训练奖励模型、用 PPO 强化学习微调三个核心步骤,并解释 KL 惩罚如何防止策略偏离初始模型产生胡言乱语。文章还盘点 TRL、TRLX、RL4LMs 等开源工具,指出人类偏好数据成本高、标注不一致以及 PPO 之外优化器等仍待探索的方向。
推荐理由:原文系统拆解 RLHF 三阶段流程与 KL 惩罚等细节,并盘点开源工具与局限,适合作为理解该技术的入门框架。
Hugging Face 与 Apple 合作,将 Stable Diffusion v1.4、v1.5、v2 base、v2.1 base 转换为 Core ML 版本并发布在 Hugging Face Hub,可在 Apple Silicon 的 CPU、GPU 和 Neural Engine 上运行。
推荐理由:Hugging Face 官方整理了 Core ML 版 Stable Diffusion 的下载、Python 与 Swift 推理方法,读者可按机型选变体并迁移到自定义模型。
Hugging Face 发布教程,讲解如何用其 Transformers 库的 Time Series Transformer 从零训练单变量概率时间序列预测模型,涵盖 GluonTS 数据转换、DataLoader 构建、40 个 epoch 的训练及 generate() 自回归推理。
推荐理由:教程展示了完整的代码训练流程,并在 Monash 基准上给出可对照的 MASE 结果,便于读者迁移到自己的时间序列数据。
Hugging Face 发布 Document AI 指南,梳理 OCR、文档图像分类、版面分析、文档解析、表格识别和 DocVQA 六大用例及对应开源模型与指标。
推荐理由:原文系统梳理了 Document AI 六类用例及对应开源模型、指标与许可证,团队可直接按图索骥选型并自建方案。
Hugging Face 发布教程,基于多组实验总结用 Dreambooth 微调 Stable Diffusion 的推荐设置,并提示 🧨 Diffusers 提供官方训练脚本。
推荐理由:原文基于多组实验给出 Dreambooth 微调 Stable Diffusion 的超参数建议,可帮助读者降低过拟合并提升生成质量。
Hugging Face 发布使用 🤗 Transformers 对 Whisper 进行多语言语音识别(ASR)微调的分步教程。
推荐理由:完整给出从数据准备到训练和 Gradio 演示的代码流程,仅用 8 小时印地语数据把 WER 从 63.5% 降到 32%,方法可直接迁移到其他语言。
Hugging Face 发布教程,以 MNIST 训练示例讲解三种抽象层级的分布式数据并行训练:PyTorch 原生 torch.distributed 与 DDP、Accelerate 的轻量封装、Transformers 的 Trainer API。
推荐理由:教程用同一个 MNIST 示例逐级展示三种分布式训练写法,读者可以按抽象层级选择适合自己项目的方案。
Hugging Face Diffusers 自 0.5.1 版本起支持 Flax,官方博客教程演示如何用 JAX/Flax 在 Google TPU 上运行 Stable Diffusion 推理。
推荐理由:Hugging Face 官方教程,演示在 TPU 上用 JAX/Flax 跑 Stable Diffusion,8 卡并行约 7 秒生成 8 张图,可直接复现。
Hugging Face 发布博客讲解 Accelerate 如何加载和运行超出单机内存的超大模型。核心做法是用 PyTorch meta device 创建空模型、用 infer_auto_device_map 自动计算 GPU、CPU 与磁盘的设备分配,并按分片加载权重,通过 hooks 在每次前向传播前后搬运权重。
推荐理由:原文逐层拆解 Accelerate 借助 PyTorch meta device 与分片加载运行超大模型的机制,并给出可在免费 Colab 复现的做法。
Hugging Face 发布教程,讲解如何用 🧨 Diffusers 库运行 CompVis、Stability AI 和 LAION 推出的文生图模型 Stable Diffusion v1-4。
推荐理由:来自 Diffusers 团队的第一手教程,同时讲清 latent diffusion 三大组件原理,代码示例可直接复用于文生图管线。
Hugging Face 与 bitsandbytes 合作,将 LLM.int8() 8 位矩阵乘法完整集成到 transformers 和 accelerate 库,使 BLOOM-176B 等大模型推理显存占用减半且无性能下降。
推荐理由:文章由集成团队亲自讲解 LLM.int8() 的原理、异常值处理和 transformers 集成细节,并附基准数据与代码示例。
Hugging Face 宣布 🤗 transformers 的 TensorFlow 文本生成现可通过 XLA 编译加速,某些场景提速超过 100 倍,在多数基准中比 PyTorch 更快,最高快达 9 倍。
推荐理由:Hugging Face 官方讲解如何用 jit_compile=True 加速 TensorFlow 文本生成,给出编译缓存机制、padding 技巧和实测数据,方法可直接复用。
留下联系方式,我会亲自联系你;想先问问,也可以直接写在下面。消息会实时送到我手上,回复会显示在这里,关掉网页再回来也能看到。