Repetition Penalty / Hình phạt Lặp lại

📖 Repetition Penalty

Definition (English):

Repetition penalty reduces the likelihood of tokens that have already appeared in the generated text. It divides logits of repeated tokens by a penalty factor (>1), making them less likely to be sampled again. Different implementations apply penalties to different window sizes. Repetition penalty prevents loops and repetitive outputs common in long-form generation with autoregressive models.

📖 Hình phạt Lặp lại

Định nghĩa (Tiếng Việt):

Hình phạt lặp lại giảm xác suất của token đã xuất hiện trong văn bản được tạo. Nó chia logits của token bị lặp cho hệ số hình phạt (>1), làm chúng kém có khả năng được lấy mẫu lại. Các triển khai khác nhau áp dụng hình phạt cho kích thước cửa sổ khác nhau. Hình phạt lặp lại ngăn vòng lặp và đầu ra lặp lại phổ biến trong tạo dài với mô hình autoregressive.

📂 Phân loại: Techniques