DeepSpeed-FastGen: MIIとDeepSpeed-InferenceによるLLMのための高速なテキスト生成 永久链接
博客
ZeRO 推理
标题：“ZeRO-Inference：通过权重 W 量化和 KV 缓存卸载实现 20 倍更快的推理” 摘要：“” 链接：https://github.com/deepspeedai/DeepSpeedE...
通信量减少的 ZeRO 阶段 1
分区感知的 ZeRO，通信时间减少高达 2 倍！
Turing-NLG：微软推出的 170 亿参数语言模型 永久链接
DeepSpeed 被用于训练全球最大的语言模型。