LAMB Optimizer / Bộ tối ưu LAMB

📖 LAMB Optimizer

Definition (English):

LAMB (Layer-wise Adaptive Moments optimizer for Batch training) is designed for large-batch training of deep neural networks. It adapts learning rates layer by layer using the ratio of the trust ratio (weight norm to update norm). LAMB enables training with very large batch sizes (32K+) without loss of accuracy, crucial for distributed training of large models.

📖 Bộ tối ưu LAMB

Định nghĩa (Tiếng Việt):

LAMB (Layer-wise Adaptive Moments optimizer for Batch training) được thiết kế cho huấn luyện batch lớn của mạng nơ-ron sâu. Nó điều chỉnh tốc học theo từng lớp bằng tỷ số tin cậy (norm weight / norm update). LAMB cho phép huấn luyện với batch size rất lớn (32K+) mà không mất độ chính xác, rất quan trọng cho huấn luyện phân tán mô hình lớn.

📂 Phân loại: Algorithms