Gradient Descent / Hạ gradient

📖 Gradient Descent

Definition (English):

Gradient descent is an optimization algorithm used to minimize a function by iteratively moving in the direction of steepest descent as defined by the negative of the gradient. It is the fundamental training algorithm for neural networks and deep learning models. Variants include stochastic gradient descent (SGD), mini-batch gradient descent, and adaptive methods like Adam, RMSprop, and AdaGrad.

📖 Hạ gradient

Định nghĩa (Tiếng Việt):

Hạ gradient là thuật toán tối ưu hóa được sử dụng để cực tiểu hóa hàm số bằng cách lặp di chuyển theo hướng dốc xuống steep nhất được xác định bởi đối của gradient. Nó là thuật toán huấn luyện cơ bản cho mạng nơ-ron và mô hình học sâu. Các biến thể bao gồm hạ gradient ngẫu nhiên (SGD), hạ gradient mini-batch và các phương pháp thích ứng như Adam, RMSprop và AdaGrad.

📂 Phân loại: Math & Statistics