解耦式DiLoCo：分布式AI训练的新前沿

Google团队提出解耦式DiLoCo架构，通过将训练任务解耦到多个计算“岛屿”并实现异步数据流，显著提升了分布式AI训练的韧性与灵活性。该架构能有效隔离本地硬件故障，使系统其余部分持续学习。在实际测试中，仅使用2-5 Gbps广域网带宽，便在四个美国区域成功训练了一个120亿参数模型，训练速度比传统同步方法快20倍以上。系统在硬件故障时仍能保持高集群可用性与训练吞吐量，且最终模型性能与传统方法相当，同时支持混合使用不同代际硬件。