FSDP (Fully Sharded Data Parallel) / Phân tán Dữ liệu Hoàn toàn

📖 FSDP (Fully Sharded Data Parallel)

Definition (English):

FSDP is PyTorch's native implementation of fully sharded data parallelism. It shards model parameters, gradients, and optimizer states across data parallel processes, similar to ZeRO-3. FSDP integrates natively with PyTorch ecosystem, supports activation checkpointing, and can offload to CPU. It is the recommended approach for distributed training in modern PyTorch projects.

📖 Phân tán Dữ liệu Hoàn toàn

Định nghĩa (Tiếng Việt):

FSDP là triển khai gốc của PyTorch cho fully sharded data parallelism. Nó chia parameters, gradients và optimizer states trên các quá trình data parallel, tương tự ZeRO-3. FSDP tích hợp gốc với hệ sinh thái PyTorch, hỗ trợ activation checkpointing và có thể offload sang CPU. Đây là cách tiếp cận được khuyến nghị cho huấn luyện phân tán trong dự án PyTorch hiện đại.

📂 Phân loại: Training