先了解这件事
小红书开源 BigMac，一种面向原生多模态场景的流水并行训练新范式。它通过依赖安全的嵌套流水线，在不增加 LLM 流水线空泡、保持激活显存有界的同时，高效实现多模态流水训练。相比基线，BigMac 训练速度提升 1.08～1.9 倍，并在 global batch size 增大时保持稳定显存占用，目前已应用于 dots 多模态模型生产训练。
最新进展
小红书 dots infra 开源 BigMac：突破多模态大模型训练的帕累托前沿
小红书开源 BigMac，一种面向原生多模态场景的流水并行训练新范式。它通过依赖安全的嵌套流水线，在不增加 LLM 流水线空泡、保持激活显存有界的同时，高效实现多模态流水训练。相比基线，BigMac 训练速度提升 1.08～1.9 倍，并在 global batch size 增大时保持稳定显存占用，目前已应用于 dots 多模态模型生产训练。
小红书 dots infra 开源 BigMac：突破多模态大模型训练的帕累托前沿
留下联系方式，我会亲自联系你；想先问问，也可以直接写在下面。消息会实时送到我手上，回复会显示在这里，关掉网页再回来也能看到。