Mixture of Depths / Hỗn hợp Chiều sâu

📖 Mixture of Depths

Definition (English):

Mixture of Depths (MoD) is a technique where tokens in a transformer can skip computation in certain layers, with a router deciding which tokens need full processing and which can use a cheaper "rest" path. This reduces average compute per token while maintaining quality for important tokens. It enables dynamic compute allocation based on token difficulty, complementing MoE's parameter efficiency.

📖 Hỗn hợp Chiều sâu

Định nghĩa (Tiếng Việt):

Hỗn hợp Chiều sâu (MoD) là kỹ thuật trong đó token trong transformer có thể bỏ qua tính toán ở một số lớp, với trình định tuyến quyết định token nào cần xử lý đầy đủ và token nào có thể dùng đường dẫn "nghỉ" rẻ hơn. Điều này giảm tính toán trung bình mỗi token trong khi duy trì chất lượng cho token quan trọng. Nó cho phép phân bổ tính toán động dựa trên độ khó token, bổ sung hiệu quả tham số của MoE.

📂 Phân loại: Models