WordPiece Tokenization / Tokenization WordPiece

📖 WordPiece Tokenization

Definition (English):

WordPiece is a subword tokenization algorithm used by BERT and its variants. Similar to BPE, it iteratively merges tokens, but uses likelihood-based selection (maximizing language model probability) rather than frequency. WordPiece tokenizes "unhappiness" as ["un", "##happi", "##ness"], handling morphology and rare words efficiently.

📖 Tokenization WordPiece

Định nghĩa (Tiếng Việt):

WordPiece là thuật toán tokenization subword được sử dụng bởi BERT và các biến thể. Tương tự BPE, nó lặp lại hợp nhất token, nhưng sử dụng lựa chọn dựa trên xác suất (tối đa hóa xác suất mô hình ngôn ngữ) thay vì tần suất. WordPiece tokenize "unhappiness" thành ["un", "##happi", "##ness"], xử lý hình thái học và từ hiếm hiệu quả.

📂 Phân loại: NLP Tech