TII 发布 Falcon-Edge 系列 1.58bit BitNet 语言模型,含 1B 和 3B 两种规格
Falcon-Edge: A series of powerful, universal, fine-tunable 1.58bit language models.
AI 导读TII 的 Falcon-Edge 系列基于 BitNet 架构,以三值权重 {-1, 0, 1} 直接预训练,提供 1B 和 3B 两种参数规格,各含 base 和 instruct 版本,模型在约 1.5 Tera Tokens 的内部数据混合上预训练。
来源:Hugging Face 社区博客 · huggingface.co