00123 零冗余优化器 论文学习笔记

前言

Microsoft 零冗余优化器（Zero Redundancy Optimizer，ZeRO）论文的学习笔记。

操作系统：Windows 11 家庭中文版

信息

论文题目：ZeRO: Memory Optimizations Toward Training Trillion Parameter Models

发表年份：2020

论文地址：https://arxiv.org/abs/1910.02054

pdf 地址：https://arxiv.org/pdf/1910.02054

为了个人学习研究，论文 pdf 删减版：

1. https://github.com/LuYF-Lemon-love/paper-is-all-you-need/blob/main/papers/00002-ZeRO/main.pdf
2. https://cdn.jsdelivr.net/gh/LuYF-Lemon-love/paper-is-all-you-need/papers/00002-ZeRO/main.pdf

内容

摘要

我们开发了一种新颖的解决方案零冗余优化器（Zero Redundancy Optimizer，ZeRO）来优化内存，极大地提高了训练速度，同时增加了可以有效训练的模型大小。ZeRO消除了数据和模型并行训练中的内存冗余，同时保持了低通信量和高计算颗粒度，使我们能够扩展与具有持续高效率的设备数量成比例的模型大小。我们对内存需求和通信量的分析表明：ZeRO有潜力使用当今的硬件扩展到1万亿参数之外。

结语

第一百二十三篇博文写完，开心！！！！

今天，也是充满希望的一天。