Activation Checkpointing / Kiểm tra Activation

📖 Activation Checkpointing

Definition (English):

Activation checkpointing (gradient checkpointing) saves memory during training by not storing intermediate activations for all layers. Instead, only a subset is saved, and the rest are recomputed during the backward pass. This trades ~30% more compute for ~60% memory savings. It is essential for training large models and long sequences where activation memory dominates.

📖 Kiểm tra Activation

Định nghĩa (Tiếng Việt):

Activation checkpointing (kiểm tra gradient) tiết kiệm bộ nhớ trong huấn luyện bằng cách không lưu activations trung gian cho tất cả lớp. Thay vào đó, chỉ lưu một tập con và tính lại phần còn lại trong lần truyền ngược. Điều này đánh đổi ~30% tính toán thêm cho ~60% tiết kiệm bộ nhớ. Nó là cần thiết cho huấn luyện mô hình lớn và chuỗi dài nơi bộ nhớ activation chiếm ưu thế.

📂 Phân loại: Training