零推理

标题：“ZeRO-Inference：通过权重量化和 KV 缓存卸载实现 20 倍更快的推理” 摘要：“” 链接：https://github.com/microsoft/DeepSpeedExamples/blob/master/inference/huggingface/zero_inference/README.md 日期：2023-09-12 00:09:00 标签：推理 ZeRO 量化 英语 —