AdamW Optimizer / Bộ tối ưu AdamW

📖 AdamW Optimizer

Definition (English):

AdamW is a variant of Adam that decouples weight decay from the gradient update. In standard Adam, L2 regularization is applied through the loss, which interacts poorly with adaptive learning rates. AdamW applies weight decay directly, leading to better generalization and more consistent training, especially with large language models.

📖 Bộ tối ưu AdamW

Định nghĩa (Tiếng Việt):

AdamW là biến thể của Adam tách biệt weight decay khỏi cập nhật gradient. Trong Adam tiêu chuẩn, điều chuẩn L2 được áp dụng qua loss, tương tác kém với tốc độ học thích ứng. AdamW áp dụng weight decay trực tiếp, dẫn đến khái quát hóa tốt hơn và huấn luyện nhất quán hơn, đặc biệt với mô hình ngôn ngữ lớn.

📂 Phân loại: Algorithms