ZeRO 推理

title: “ZeRO-Inference: 通过权重量化和 KV 缓存卸载实现 20 倍推理加速” excerpt: “” link: https://github.com/deepspeedai/DeepSpeedExamples/blob/master/inference/huggingface/zero_inference/README.md date: 2023-09-12 00:09:00 tags: 推理 ZeRO 量化 英语 —