AdaGrad / AdaGrad

📖 AdaGrad

Definition (English):

AdaGrad (Adaptive Gradient Algorithm) adapts the learning rate for each parameter based on historical gradient magnitudes. Parameters with large accumulated gradients receive smaller learning rates, while those with small gradients get larger ones. This makes it well-suited for sparse data and NLP tasks, but the aggressive learning rate decay can cause premature convergence.

📖 AdaGrad

Định nghĩa (Tiếng Việt):

AdaGrad (Thuật toán Gradient Thích ứng) điều chỉnh tốc độ học cho mỗi tham số dựa trên độ lớn gradient lịch sử. Các tham số có gradient tích lũy lớn nhận tốc độ học nhỏ hơn, trong khi那些 có gradient nhỏ nhận tốc độ lớn hơn. Điều này phù hợp cho dữ liệu thưa và tác vụ NLP, nhưng sự suy giảm tốc độ học mạnh có thể gây hội tụ sớm.

📂 Phân loại: Algorithms