压缩概述与功能
DeepSpeed Compression 是一个专门构建的库,旨在方便研究人员和从业者进行模型压缩,同时提供更快的速度、更小的模型尺寸以及显著降低的压缩成本。更多详细信息请参阅我们的博客。
DeepSpeed Compression 提供了新颖的、最先进的压缩技术,以实现更快的模型压缩,同时保持更好的模型质量和更低的压缩成本。DeepSpeed Compression 还采用端到端的方法,通过高度优化的推理引擎来提高压缩模型的计算效率。此外,我们的库内置了多种最先进的压缩方法。它支持这些方法与系统优化的协同组合,在实现高效深度学习模型推理的无缝且易于使用的流水线的同时,兼顾两方面(指方法和优化)的优势。我们强烈建议您也阅读我们的博客,以(从宏观层面)了解我们构建 DeepSpeed Compression 的原因以及它为用户带来的好处。要使用 DeepSpeed 压缩库尝试压缩您的模型,请查阅我们的教程。