KL Divergence / Phân kỳ KL

📖 KL Divergence

Definition (English):

KL divergence (Kullback-Leibler divergence) is a measure of how one probability distribution differs from a second, reference probability distribution. It is always non-negative and equals zero only when the distributions are identical. KL divergence is used in variational autoencoders, knowledge distillation, and as a regularization term in many generative models. It is asymmetric: KL(P||Q) ≠ KL(Q||P).

📖 Phân kỳ KL

Định nghĩa (Tiếng Việt):

Phân kỳ KL (phân kỳ Kullback-Leibler) là thước đo mức độ một phân bố xác suất khác biệt so với phân bố xác suất tham chiếu thứ hai. Nó luôn không âm và bằng zero chỉ khi hai phân bố giống hệt nhau. Phân kỳ KL được sử dụng trong tự mã hóa biến thể, chưng cất kiến thức và là thuật ngữ điều chuẩn trong nhiều mô hình tổng hợp. Nó không đối xứng: KL(P||Q) ≠ KL(Q||P).

📂 Phân loại: Math+