Model Parallelism / Song song Mô hình

📖 Model Parallelism

Definition (English):

Model parallelism splits a single model across multiple GPUs when the model is too large to fit on one GPU. Pipeline parallelism assigns different layers to different GPUs (each GPU processes a stage, passes activations to the next). Tensor parallelism splits individual layers (e.g., splitting attention heads across GPUs). Modern large model training uses 3D parallelism: data + pipeline + tensor.

📖 Song song Mô hình

Định nghĩa (Tiếng Việt):

Song song mô hình chia một mô hình trên nhiều GPU khi mô hình quá lớn để vừa một GPU. Pipeline parallelism gán các lớp khác nhau cho GPU khác nhau (mỗi GPU xử lý một giai đoạn, chuyển activations sang tiếp). Tensor parallelism chia các lớp riêng lẻ (ví dụ: chia attention heads trên GPU). Huấn luyện mô hình lớn hiện đại sử dụng song song 3D: data + pipeline + tensor.

📂 Phân loại: Training