State Space Model / Mô hình Trạng thái Không gian

📖 State Space Model

Definition (English):

State Space Models (SSMs) are a class of sequence models that provide an alternative to transformers. SSMs like Mamba process sequences in linear time (vs. quadratic for transformers), making them more efficient for long sequences. They use a recurrence-based approach that can be parallelized during training, combining the efficiency of RNNs with the parallelism of transformers.

📖 Mô hình Trạng thái Không gian

Định nghĩa (Tiếng Việt):

Mô hình Trạng thái Không gian (SSM) là lớp mô hình chuỗi cung cấp sự thay thế cho transformer. SSM như Mamba xử lý chuỗi theo tuyến tính (vs. bậc hai cho transformer), giúp hiệu quả hơn cho chuỗi dài. Chúng sử dụng cách tiếp cận dựa trên hồi quy có thể song song hóa trong huấn luyện, kết hợp hiệu quả của RNN với khả năng song song của transformer.

📂 Phân loại: Models