Continuous Batching / Batch Liên tục

📖 Continuous Batching

Definition (English):

Continuous batching (also called iteration-level scheduling) allows new requests to join a batch as soon as other requests finish, rather than waiting for the entire batch to complete. This dramatically improves GPU utilization for serving LLMs with variable-length outputs. vLLM, TensorRT-LLM, and TGI all implement continuous batching, achieving 2-5x throughput improvement over static batching.

📖 Batch Liên tục

Định nghĩa (Tiếng Việt):

Batch liên tục (còn gọi scheduling cấp iteration) cho phép yêu cầu mới tham gia batch ngay khi các yêu cầu khác hoàn thành, thay vì chờ toàn bộ batch xong. Điều này cải thiện đáng kể mức sử dụng GPU khi phục vụ LLM với đầu ra độ dài biến đổi. vLLM, TensorRT-LLM và TGI đều triển khai continuous batching, đạt cải thiện thông lượng 2-5x so với batch tĩnh.

📂 Phân loại: Inference