在 Azure 上开始使用 DeepSpeed
本教程将帮助您开始在 Azure 上使用 DeepSpeed。
如果您还没有 Azure 帐户,请在此处查看更多详细信息:https://azure.microsoft.com/。
通过 AzureML 使用 Azure 上的 DeepSpeed
在 Azure 上尝试 DeepSpeed 的推荐方法也是最简单的方法是通过 AzureML。使用 AzureML v2 的训练示例和 DeepSpeed 自动调整示例可以在 此处 找到。
对于 AzureML v1 示例,请查看 Megatron-DeepSpeed、Transformers 和 CIFAR 训练的易于使用的示例,此处。
我们的 Megatron-DeepSpeed 包含在 AzureML 上进行端到端训练的最新 方案。
在 Azure VM 上使用 DeepSpeed
如果您无法访问 AzureML,或者想要使用 Azure 虚拟机 或 Azure VM 规模集 (VMSS) 构建自定义环境,我们正在努力开发易于使用的集群设置脚本,这些脚本将在未来几周内发布。
如果您已经设置了集群,则可以使用 Azure 方案,这些方案可以轻松修改以训练各种模型配置。