Knowledge Distillation / Chưng cất Kiến thức

📖 Knowledge Distillation

Definition (English):

Knowledge distillation transfers knowledge from a large "teacher" model to a smaller "student" model. The student is trained to mimic the teacher's soft probability outputs (which contain richer information than hard labels) plus the original labels. This produces compact models that retain much of the teacher's performance. Distillation is critical for deploying models on edge devices and reducing inference costs.

📖 Chưng cất Kiến thức

Định nghĩa (Tiếng Việt):

Chưng cất kiến thức chuyển giao kiến thức từ mô hình lớn "giáo viên" sang mô hình nhỏ "học sinh". Học sinh được huấn luyện mô phỏng đầu ra xác suất mềm của giáo viên (chứa thông tin phong phú hơn nhãn cứng) cộng với nhãn gốc. Điều này tạo ra mô hình компакт giữ lại phần lớn hiệu suất của giáo viên. Chưng cất rất quan trọng cho triển khai mô hình trên thiết bị edge và giảm chi phí suy luận.

📂 Phân loại: DL Techniques