在 Azure 上开始使用 DeepSpeed

本教程将帮助您在 Azure 上开始使用 DeepSpeed。

如果您还没有 Azure 账户，请在此处查看更多详细信息：https://azure.microsoft.com/。

通过 AzureML 在 Azure 上使用 DeepSpeed

在 Azure 上尝试 DeepSpeed 的推荐和最简单方法是通过 AzureML。使用 AzureML v2 的训练示例和 DeepSpeed 自动调优示例可在此处找到：此处。

对于 AzureML v1 示例，请在此处查看 Megatron-DeepSpeed、Transformers 和 CIFAR 训练的易用示例：此处。

我们的 Megatron-DeepSpeed 包含用于在 AzureML 上进行端到端训练的最新 方案。

在 Azure VM 上使用 DeepSpeed

如果您无法访问 AzureML，或者希望使用 Azure 虚拟机 或 Azure 虚拟机规模集 (VMSS) 构建自定义环境，我们正在开发易于使用的集群设置脚本，并将在未来几周内发布。

如果您已经设置了集群，您可以使用 Azure 方案，它们可以轻松修改以训练各种模型配置。