跳过链接
跳到主导航
跳到内容
跳到页脚
入门
博客
教程
文档
GitHub
切换搜索
切换菜单
主页
/
教程
/
Domino
切换菜单
训练
推理
压缩
科学
入门
ds_config
自动调优
批处理大小
优化器
FP16
BFLOAT16
ZeRO 优化
日志记录
Flops 分析器
监控
通信日志记录
模型压缩
数据效率
教程
入门
在 Azure 上入门
加速器抽象
加速器设置指南
自动张量并行
自动调优
BingBertSQuAD 微调
BERT 预训练
CIFAR-10
课程学习
数据效率
DeepNVMe
Domino
DS4Sci_EvoformerAttention
Flops 分析器
PyTorch 分析器
GAN
推理
学习率范围测试
Megatron-LM GPT2
专家混合 (MoE)
用于 NLG 的 MoE
MoE 推理
模型压缩
量化混合
监控
通信日志记录
One-Cycle 调度
单比特 Adam
Zero-One Adam
单比特 LAMB
流水线并行
渐进层丢弃
稀疏注意力
Transformer 核
ZeRO-Offload
ZeRO
ZeRO++
贡献
Domino
Domino 在张量并行训练中实现了几乎完全的通信隐藏在计算之后。请在 DeepSpeedExample 仓库中找到我们的
Domino 教程
。
上一页
下一页
输入您的搜索词...