Early Exit / Thoát Sớm

📖 Early Exit

Definition (English):

Early exit allows a neural network to produce a prediction before processing all layers. If the model's confidence exceeds a threshold at an intermediate layer, computation stops early. This reduces average inference latency. Works well for easy examples (exit early) while hard examples use full network depth. BranchyNet and DeeBERT implement this for BERT acceleration.

📖 Thoát Sớm

Định nghĩa (Tiếng Việt):

Thoát sớm cho phép mạng nơ-ron đưa ra dự đoán trước khi xử lý tất cả lớp. Nếu độ tin cậy mô hình vượt ngưỡng ở lớp trung gian, tính toán dừng sớm. Điều này giảm độ trễ suy luận trung bình. Hoạt động tốt cho ví dụ dễ (thoát sớm) trong khi ví dụ khó dùng đầy đủ độ sâu mạng. BranchyNet và DeeBERT triển khai điều này để tăng tốc BERT.

📂 Phân loại: Techniques