Batch Normalization / Chuẩn hóa Batch

📖 Batch Normalization

Definition (English):

Batch normalization is a technique that normalizes the inputs of each layer in a neural network to have zero mean and unit variance. This stabilizes training, allows higher learning rates, and acts as a regularizer. It was introduced by Ioffe and Szegedy in 2015 and has become a standard component in modern deep learning architectures. Variants include layer normalization, group normalization, and instance normalization.

📖 Chuẩn hóa Batch

Định nghĩa (Tiếng Việt):

Chuẩn hóa batch là kỹ thuật chuẩn hóa đầu vào của mỗi lớp trong mạng nơ-ron để có trung bình bằng 0 và phương sai đơn vị. Điều này ổn định huấn luyện, cho phép tốc độ học cao hơn và hoạt động như bộ điều chuẩn. Nó được giới thiệu bởi Ioffe và Szegedy năm 2015 và đã trở thành thành phần tiêu chuẩn trong kiến trúc học sâu hiện đại. Các biến thể bao gồm chuẩn hóa lớp, chuẩn hóa nhóm và chuẩn hóa phiên bản.

📂 Phân loại: Math