ZeRO 阶段 1 减少通信

• 分区感知方法，而不是最初使用全局集体（全减少）的实现
• 总通信量减少 1.5 倍 -> 数据并行度的 1 倍
• 与全减少相比，通信时间最多减少 2 倍

更多更新即将推出！