蚂蚁 inclusionAI 开源 Ling-3.0 系列高效语言基座模型

蚂蚁 inclusionAI 开源 Ling-3.0 系列语言基座模型，采用高度稀疏（1/64）MoE 架构，含 512 个路由专家，每个 token 仅激活 8 个路由专家和 1 个共享专家，激活参数仅 5.1B（Non-emb）。