博客 - DeepSpeed 深度学习优化库

title: “ZeRO-Inference: 20X faster inference through weight quantization and KV cache offloading” excerpt: “” link: https://github.com/microsoft/DeepSpeedExa...

DeepSpeed Ulysses: System Optimizations for Enabling Training of Extreme Long Sequence Transformer Models Permalink

2023 年 8 月 23 日

DeepSpeed Ulysses: Transformerモデルを非常に長いシーケンスで訓練するための最適化 Permalink

2023 年 8 月 23 日

DeepSpeed Ulysses: 训练极长序列Transformer模型的系统优化 Permalink

2023 年 8 月 23 日

DeepSpeed ZeRO++: A leap in speed for LLM and chat model training with 4X less communication Permalink

2023 年 6 月 21 日

DeepSpeed ZeRO++: LLMやチャットモデルの訓練を劇的に高速化 – 通信オーバヘッドを1/4に大幅削減 - Permalink

2023 年 6 月 21 日

DeepSpeed ZeRO++：降低4倍网络通信，显著提高大模型及类ChatGPT模型训练效率 Permalink

2023 年 6 月 21 日

DeepSpeed 主要技术的概述介绍

2023 年 6 月 6 日

DeepSpeed Chat: Easy, Fast and Affordable RLHF Training of ChatGPT-like Models at All Scales Permalink

2023 年 4 月 23 日

DeepSpeed Chat: ChatGPTライクなモデルを簡単・高速・低コストに、あらゆるスケールで学習 Permalink

2023 年 4 月 23 日

DeepSpeed Chat: 一键式RLHF训练，让你的类ChatGPT千亿大模型提速省钱15倍 Permalink

2023 年 4 月 23 日

使用 VL-MoE 扩展大规模生成专家混合多模态模型

2023 年 3 月 30 日

DeepSpeed 数据效率：一个可组合库，可以更好地利用数据、提高训练效率并提高模型质量

2022 年 12 月 11 日

DeepSpeed-MII：24,000 多个开源 DL 模型的即时加速，推理成本降低高达 40 倍

2022 年 10 月 10 日

ZeRO-Inference：使大型模型推理民主化

2022 年 9 月 9 日

Azure 使用 DeepSpeed 提供易于使用、高性能和超大规模模型训练

2022 年 7 月 25 日

Supporting efficient large model training on AMD Instinct GPUs with DeepSpeed Permalink

2022 年 3 月 20 日

DeepSpeed: Advancing MoE inference and training to power next-generation AI scale Permalink

2022 年 1 月 18 日

DeepSpeed-MoE 用于 NLG：将语言模型的训练成本降低 5 倍

2021 年 12 月 9 日

自动调整：自动发现提供良好训练速度的最佳 DeepSpeed 配置

2021 年 11 月 16 日

DeepSpeed powers 8x larger MoE model training with high performance Permalink

2021 年 8 月 17 日

DeepSpeed: Accelerating large-scale model inference and training via system optimizations and compression Permalink

2021 年 5 月 14 日

量化混合：一种新颖的量化方法，可通过最小的精度影响来减少模型大小

2021 年 5 月 4 日

DeepSpeed 推理：具有自定义推理内核和量化支持的多 GPU 推理

2021 年 3 月 15 日

DeepSpeed ZeRO-3 Offload

2021 年 3 月 7 日

渐进式层丢弃

2020 年 10 月 28 日

DeepSpeed 稀疏注意力

2020 年 9 月 8 日

使用流水线并行训练万亿参数

2020 年 9 月 8 日

通过 1 比特 Adam 减少高达 5 倍的通信量，并将训练速度提高 3.4 倍

2020 年 9 月 8 日

DeepSpeed 与 1 比特 Adam：减少 5 倍的通信量，并将训练速度提高 3.4 倍

2020 年 9 月 8 日

使用 ZeRO-Offload 在单个 GPU 上进行 10 倍大的模型训练

2020 年 9 月 8 日

通过 DeepSpeed 稀疏注意力实现 10 倍更长的序列和 6 倍更快的执行

2020 年 9 月 8 日

DeepSpeed Microsoft Research Webinar is now on-demand Permalink

2020 年 8 月 6 日

DeepSpeed Microsoft Research Webinar on August 6th, 2020 Permalink

2020 年 7 月 23 日

Microsoft DeepSpeed 实现了最快的 BERT 训练时间

2020 年 5 月 27 日

ZeRO-2 & DeepSpeed: Shattering Barriers of Deep Learning Speed & Scale Permalink

2020 年 5 月 18 日

使用 ZeRO-2 进行数量级更大、更快的训练

2020 年 5 月 18 日

通过优化的 Transformer 内核实现最快的 BERT 训练，效率最高

2020 年 5 月 18 日

ZeRO 第 1 阶段，通信量减少

2020 年 3 月 17 日

分区感知 ZeRO，通信时间减少高达 2 倍！

Turing-NLG: A 17-billion-parameter language model by Microsoft Permalink

2020 年 2 月 13 日

DeepSpeed 用于训练世界上最大的语言模型。

ZeRO & DeepSpeed：新的系统优化使训练超过 1000 亿个参数的模型成为可能 永久链接

2020 年 2 月 13 日