Answer.AI 发布 ModernBERT 系列模型

先了解这件事

Answer.AI 与 LightOn 联合发布 ModernBERT，这是一系列旨在取代 BERT 的 SOTA 编码器模型。该模型将 LLM 的最新架构改进（如 Flash Attention、RoPE）应用于编码器，支持 8192 token 上下文长度（远超传统 BERT 的 512），并在速度和下游任务性能上全面超越旧一代模型。提供 base (149M) 和 large (395M) 两种参数规模，已集成至 Hugging Face Transformers v4.48.0，可直接作为 BERT 类模型的即插即用替代品，适用于 RAG、分类及代码检索等场景。