Dropout Regularization / Điều chuẩn Dropout

📖 Dropout Regularization

Definition (English):

Dropout randomly deactivates ("drops out") a fraction of neurons during training, forcing the network to learn redundant representations. This prevents co-adaptation of neurons and acts as an ensemble method (averaging over many sub-networks). At inference time, all neurons are active but outputs are scaled. Typical dropout rates are 0.1-0.5. Dropout is less used in transformer architectures where other regularization dominates.

📖 Điều chuẩn Dropout

Định nghĩa (Tiếng Việt):

Dropout ngẫu nhiên vô hiệu hóa ("drops out") một phần nơ-ron trong quá trình huấn luyện, buộc mạng học biểu diễn redundant. Điều này ngăn sự thích ứng cộng đồng của nơ-ron và đóng vai trò phương pháp tập thể (trung bình qua nhiều mạng con). Tại thời điểm suy luận, tất cả nơ-ron hoạt động nhưng đầu ra được scale. Tỷ lệ dropout điển hình là 0.1-0.5. Dropout ít được sử dụng trong kiến trúc transformer nơi điều chuẩn khác chiếm ưu thế.

📂 Phân loại: DL Techniques