Token Limit / Giới hạn Token

📖 Token Limit

Definition (English):

Token limit (or context window) refers to the maximum number of tokens a language model can process in a single input. Tokens are units of text (words, subwords, or characters) that the model uses. For example, GPT-4 has a context window of 128K tokens. Exceeding the token limit causes truncation. Context window size is a critical factor in determining a model's ability to handle long documents or complex conversations.

📖 Giới hạn Token

Định nghĩa (Tiếng Việt):

Giới hạn token (hoặc cửa sổ ngữ cảnh) đề cập đến số lượng token tối đa mà mô hình ngôn ngữ có thể xử lý trong một đầu vào. Token là đơn vị văn bản (từ, từ con hoặc ký tự) mà mô hình sử dụng. Ví dụ, GPT-4 có cửa sổ ngữ cảnh 128K token. Vượt quá giới hạn token gây ra cắt ngắn. Kích thước cửa sổ ngữ cảnh là yếu tố quan trọng xác định khả năng của mô hình trong việc xử lý tài liệu dài hoặc cuộc trò chuyện phức tạp.

📂 Phân loại: Practical