Stochastic Gradient Descent (SGD) / Gradient Ngẫu nhiên

📖 Stochastic Gradient Descent (SGD)

Definition (English):

SGD is a variant of gradient descent that updates model parameters using a random subset (mini-batch) of training data instead of the entire dataset. This introduces noise but dramatically reduces computation per update. Momentum, Nesterov, and adaptive variants (SGD with Momentum) improve convergence speed and stability compared to vanilla SGD.

📖 Gradient Ngẫu nhiên

Định nghĩa (Tiếng Việt):

SGD là biến thể của gradient descent cập nhật tham số mô hình bằng tập con ngẫu nhiên (mini-batch) của dữ liệu huấn luyện thay vì toàn bộ tập dữ liệu. Điều này tạo ra nhiễu nhưng giảm đáng kể tính toán mỗi lần cập nhật. Các biến thể momentum, Nesterov và thích ứng (SGD với Momentum) cải thiện tốc hội tụ và độ ổn định so với SGD thường.

📂 Phân loại: Algorithms