Model Distillation / Chưng cất Mô hình

📖 Model Distillation

Definition (English):

Knowledge distillation (also called model distillation) is a technique where a smaller, simpler model (student) is trained to replicate the behavior of a larger, more complex model (teacher). The student learns from the teacher's soft probability distributions rather than just hard labels. This produces a compact model that retains most of the teacher's performance while being much faster and cheaper to run.

📖 Chưng cất Mô hình

Định nghĩa (Tiếng Việt):

Chưng cất kiến thức (còn gọi là chưng cất mô hình) là kỹ thuật trong đó mô hình nhỏ hơn, đơn giản hơn (học sinh) được huấn luyện để sao chép hành vi của mô hình lớn hơn, phức tạp hơn (giáo viên). Học sinh học từ phân bố xác suất mềm của giáo viên thay vì chỉ nhãn cứng. Điều này tạo ra mô hình compact giữ lại hầu hết hiệu suất của giáo viên trong khi chạy nhanh hơn và rẻ hơn nhiều.

📂 Phân loại: Practical