Token Dropping / Bỏ Token

📖 Token Dropping

Definition (English):

Token dropping is a training efficiency technique where less important tokens are dropped during computation to reduce cost. ToDrop identifies and removes tokens with low attention scores or minimal contribution to the output. At inference, all tokens are typically used. This enables training on longer sequences within memory constraints while maintaining most of the model quality.

📖 Bỏ Token

Định nghĩa (Tiếng Việt):

Bỏ token là kỹ thuật hiệu quả huấn luyện trong đó token kém quan trọng bị loại bỏ trong quá trình tính toán để giảm chi phí. ToDrop xác định và loại bỏ token có điểm attention thấp hoặc đóng góp tối thiểu cho đầu ra. Tại thời điểm suy luận, hầu hết tất cả token đều được sử dụng. Điều này cho phép huấn luyện trên chuỗi dài hơn trong ràng buộc bộ nhớ trong khi duy trì hầu hết chất lượng mô hình.

📂 Phân loại: Techniques