ZeRO 阶段 1：减少通信开销

• 采用分区感知方法，而非初始使用全局集体操作（all-reduce）的实现
• 总通信量从数据并行的 1.5 倍减少到 1 倍
• 与 all-reduce 相比，通信时间最多减少 2 倍

更多更新即将推出！