Batch Normalization / Chuẩn hóa Batch

📖 Batch Normalization

Definition (English):

Batch Normalization normalizes layer inputs by subtracting the batch mean and dividing by batch standard deviation, then applying learnable scale and shift parameters. It reduces internal covariate shift, enables higher learning rates, acts as mild regularization, and makes training less sensitive to initialization. Layer Normalization is preferred for transformers and RNNs where batch statistics are unreliable.

📖 Chuẩn hóa Batch

Định nghĩa (Tiếng Việt):

Chuẩn hóa Batch chuẩn hóa đầu vào lớp bằng cách trừ đi trung bình batch và chia cho độ lệch chuẩn batch, sau đó áp dụng tham số scale và shift có thể học. Nó giảm sự dịch chuyển covariate nội tại, cho phép tốc độ học cao hơn, đóng vai trò điều chuẩn nhẹ và làm huấn luyện ít nhạy cảm hơn với khởi tạo. Layer Normalization được ưa chuộng cho transformer và RNN nơi thống kê batch không đáng tin cậy.

📂 Phân loại: DL Techniques