Byte-Pair Encoding (BPE) / Mã hóa BPAIR

📖 Byte-Pair Encoding (BPE)

Definition (English):

BPE is a subword tokenization algorithm that iteratively merges the most frequent character pairs in the training corpus. Starting with individual characters, it builds a vocabulary of subword units up to a desired size. BPE handles unknown words (by breaking into subwords), balances vocabulary size with sequence length, and is used by GPT, LLaMA, and most modern LLMs.

📖 Mã hóa BPAIR

Định nghĩa (Tiếng Việt):

BPE là thuật toán tokenization subword lặp lại hợp nhất các cặp ký tự phổ biến nhất trong corpus huấn luyện. Bắt đầu với ký tự riêng lẻ, nó xây dựng từ vựng các đơn vị subword đến kích thước mong muốn. BPE xử lý từ chưa biết (bằng cách chia thành subword), cân bằng kích thước từ vựng với độ dài chuỗi và được sử dụng bởi GPT, LLaMA và hầu hết LLM hiện đại.

📂 Phân loại: NLP Tech