自动调优：自动发现提供良好训练速度的最佳 DeepSpeed 配置

我们引入了一个名为自动调优的新功能，用于自动发现提供良好训练速度的最佳 DeepSpeed 配置。模型训练中的一大痛点是找出诸如微批次大小之类的良好性能相关配置，以充分利用硬件并实现高吞吐量。此配置探索过程通常是手动进行的，但很重要，因为模型训练会重复多次，并且得益于使用良好的配置。手动调整过程不仅耗时，而且结果取决于硬件。这意味着在一台硬件上的良好配置可能不是另一台不同硬件上的最佳配置。因此，用户必须再次手动调整配置。使用 DeepSpeed，存在更多可能影响训练速度的配置参数，因此手动调整配置变得更加繁琐。

DeepSpeed 自动调优器缓解了这一痛点，并自动发现提供良好训练速度的最佳 DeepSpeed 配置。它不仅减少了用户花费在调优上的时间和资源，而且还可以发现比手动调整方法更好的配置。 DeepSpeedExamples 将演示自动调优在不同模型中的有效性。

• 有关简要概述，请参阅 自动调优教程.
• 有关如何使用自动调优的更多信息，请参阅 自动调优自述文件.
• 源代码可在 DeepSpeed 存储库 中找到。