Learning Rate Schedule / Lịch trình Tốc độ học

📖 Learning Rate Schedule

Definition (English):

Learning rate scheduling is the practice of adjusting the learning rate during training according to a predefined schedule or adaptive rule. Common schedules include step decay, exponential decay, cosine annealing, warm-up + decay, and cyclical learning rates. Warm-up followed by cosine decay is the standard for transformer training. Proper scheduling is critical for training stability and final model quality.

📖 Lịch trình Tốc độ học

Định nghĩa (Tiếng Việt):

Lịch trình tốc độ học là thực hành điều chỉnh tốc độ học trong quá trình huấn luyện theo lịch trình được định nghĩa trước hoặc quy tắc thích ứng. Lịch trình phổ biến bao gồm suy giảm bậc, suy giảm hàm mũ, cosine annealing, warm-up + suy giảm và tốc độ học tuần hoàn. Warm-up theo sau bởi cosine decay là tiêu chuẩn cho huấn luyện transformer. Lịch trình phù hợp rất quan trọng cho ổn định huấn luyện và chất lượng mô hình cuối cùng.

📂 Phân loại: Algorithms