LARS Optimizer / Bộ tối ưu LARS

📖 LARS Optimizer

Definition (English):

LARS (Layer-wise Adaptive Rate Scaling) is an optimization algorithm that scales learning rates differently for each layer based on the ratio of the weight magnitude to the gradient magnitude. This enables stable training with very large batch sizes. LARS was one of the first algorithms to enable linear scaling of batch size with learning rate.

📖 Bộ tối ưu LARS

Định nghĩa (Tiếng Việt):

LARS (Layer-wise Adaptive Rate Scaling) là thuật toán tối ưu hóa scale tốc độ học khác nhau cho mỗi lớp dựa trên tỷ số độ lớn weight so với độ lớn gradient. Điều này cho phép huấn luyện ổn định với batch size rất lớn. LARS là một trong những thuật toán đầu tiên cho phép scale tuyến tính batch size với tốc độ học.

📂 Phân loại: Algorithms