Tokenization Strategies / Chiến lược Tokenization

📖 Tokenization Strategies

Definition (English):

Tokenization is the process of splitting text into tokens (words, subwords, or characters) for model input. Strategies include: word-level (simple but large vocabulary), character-level (small vocabulary, long sequences), subword (BPE, WordPiece, SentencePiece — balanced approach), and byte-level (UTF-8 bytes, no unknown tokens). Subword tokenization is the dominant approach in modern LLMs.

📖 Chiến lược Tokenization

Định nghĩa (Tiếng Việt):

Tokenization là quá trình chia văn bản thành token (từ, subword hoặc ký tự) cho đầu vào mô hình. Chiến lược bao gồm: cấp từ (đơn giản nhưng từ vựng lớn), cấp ký tự (từ vựng nhỏ, chuỗi dài), subword (BPE, WordPiece, SentencePiece — cân bằng) và cấp byte (UTF-8 byte, không token chưa biết). Tokenization subword là cách tiếp cận chủ đạo trong LLM hiện đại.

📂 Phân loại: NLP Tech