Google DeepMind 推出 Decoupled DiLoCo：跨数据中心分布式训练新架构

Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构，将训练拆分为异步通信的计算"岛屿"，在硬件故障下仍能持续训练并自动恢复。该架构用 Gemma 4 模型验证，ML 性能与传统方法持平，并以 2-5 Gbps 广域网络在四个美国区域训练了 120 亿参数模型，速度比传统同步方法快 20 倍以上，还支持 TPU v6e 与 TPU v5p 混合训练。