在 Azure 上开始使用 DeepSpeed

本教程将帮助您在 Azure 上开始使用 DeepSpeed。

如果您还没有 Azure 账户,请在此处查看更多详细信息:https://azure.microsoft.com/

通过 AzureML 在 Azure 上使用 DeepSpeed

在 Azure 上尝试 DeepSpeed 的推荐和最简单方法是通过 AzureML。使用 AzureML v2 的训练示例和 DeepSpeed 自动调优示例可在此处找到:此处

对于 AzureML v1 示例,请在此处查看 Megatron-DeepSpeed、Transformers 和 CIFAR 训练的易用示例:此处

我们的 Megatron-DeepSpeed 包含用于在 AzureML 上进行端到端训练的最新 方案

在 Azure VM 上使用 DeepSpeed

如果您无法访问 AzureML,或者希望使用 Azure 虚拟机 或 Azure 虚拟机规模集 (VMSS) 构建自定义环境,我们正在开发易于使用的集群设置脚本,并将在未来几周内发布。

如果您已经设置了集群,您可以使用 Azure 方案,它们可以轻松修改以训练各种模型配置。

更新日期: