Cross-Entropy Loss / Hàm Mất mát Entropy Chéo

📖 Cross-Entropy Loss

Definition (English):

Cross-entropy loss is the most common loss function for multi-class classification tasks. It measures the dissimilarity between the predicted probability distribution and the true label distribution. For binary classification, binary cross-entropy (BCE) is used. Cross-entropy loss penalizes confident wrong predictions heavily, making it effective for training classifiers and language models.

📖 Hàm Mất mát Entropy Chéo

Định nghĩa (Tiếng Việt):

Hàm mất mát entropy chéo là hàm mất mát phổ biến nhất cho các tác vụ phân loại đa lớp. Nó đo sự khác biệt giữa phân bố xác suất dự đoán và phân bố nhãn thực. Đối với phân loại nhị phân, entropy chéo nhị phân (BCE) được sử dụng. Hàm mất mát entropy chéo phạt nặng các dự đoán sai tự tin, khiến nó hiệu quả cho huấn luyện bộ phân loại và mô hình ngôn ngữ.

📂 Phân loại: Math+