在 Azure 上开始使用 DeepSpeed

本教程将帮助您开始在 Azure 上使用 DeepSpeed。

如果您还没有 Azure 帐户，请在此处查看更多详细信息：https://azure.microsoft.com/。

通过 AzureML 使用 Azure 上的 DeepSpeed

在 Azure 上尝试 DeepSpeed 的推荐方法也是最简单的方法是通过 AzureML。使用 AzureML v2 的训练示例和 DeepSpeed 自动调整示例可以在 此处 找到。

对于 AzureML v1 示例，请查看 Megatron-DeepSpeed、Transformers 和 CIFAR 训练的易于使用的示例，此处。

我们的 Megatron-DeepSpeed 包含在 AzureML 上进行端到端训练的最新 方案。

在 Azure VM 上使用 DeepSpeed

如果您无法访问 AzureML，或者想要使用 Azure 虚拟机 或 Azure VM 规模集 (VMSS) 构建自定义环境，我们正在努力开发易于使用的集群设置脚本，这些脚本将在未来几周内发布。

如果您已经设置了集群，则可以使用 Azure 方案，这些方案可以轻松修改以训练各种模型配置。