AWS发布Priming方法及混合模型库

先了解这件事

AWS团队发表论文《Priming: Hybrid state space models from pre-trained Transformers》，提出一种复用预训练Transformer权重、将其改造成混合状态空间架构的方法。AWS称，该方法可将预训练成本降低逾99%，全流程消耗不足源模型0.5%的token预算。

论文相关成果以Apache 2.0许可发布在GitHub的Hybrid Model Factory和HuggingFace的模型库中。