DeepSpeed ZeRO / DeepSpeed ZeRO

📖 DeepSpeed ZeRO

Definition (English):

DeepSpeed ZeRO (Zero Redundancy Optimizer) is a memory optimization technique that partitions optimizer states, gradients, and parameters across multiple GPUs. ZeRO Stage 1 partitions optimizer states, Stage 2 adds gradients, Stage 3 partitions parameters. This enables training models with trillions of parameters across GPU clusters. Combined with offloading to CPU/NVMe, it can train models exceeding total GPU memory.

📖 DeepSpeed ZeRO

Định nghĩa (Tiếng Việt):

DeepSpeed ZeRO (Zero Redundancy Optimizer) là kỹ thuật tối ưu hóa bộ nhớ chia optimizer states, gradient và tham số trên nhiều GPU. ZeRO Stage 1 chia optimizer states, Stage 2 thêm gradient, Stage 3 chia tham số. Điều này cho phép huấn luyện mô hình với hàng nghìn tỷ tham số trên cụm GPU. Kết hợp với offloading sang CPU/NVMe, nó có thể huấn luyện mô hình vượt quá tổng bộ nhớ GPU.

📂 Phân loại: Training