Gradient Clipping / Cắt Gradient

📖 Gradient Clipping

Definition (English):

Gradient clipping limits the magnitude of gradients during backpropagation to prevent exploding gradients, which can cause training instability or divergence. Two main approaches: clip by value (clamping individual gradient elements) and clip by norm (scaling all gradients when their global norm exceeds a threshold). Gradient clipping is essential for training RNNs and large language models.

📖 Cắt Gradient

Định nghĩa (Tiếng Việt):

Cắt gradient giới hạn độ lớn của gradient trong quá trình lan truyền ngược để ngăn gradient phát nổ, có thể gây bất ổn huấn luyện hoặc phân kỳ. Hai cách tiếp cận chính: cắt theo giá trị (giới hạn từng phần tử gradient) và cắt theo norm (scale tất cả gradient khi norm toàn cục vượt ngưỡng). Cắt gradient là cần thiết cho huấn luyện RNN và mô hình ngôn ngữ lớn.

📂 Phân loại: Algorithms