MoCo (Momentum Contrast) / MoCo

📖 MoCo (Momentum Contrast)

Definition (English):

MoCo maintains a dynamic dictionary of encoded representations using a momentum-updated encoder. The query encoder is updated normally while the key encoder uses exponential moving average. This creates a large, consistent dictionary for contrastive learning without requiring enormous batch sizes. MoCo v2 and v3 improved performance with better augmentation and architecture choices.

📖 MoCo

Định nghĩa (Tiếng Việt):

MoCo duy trì từ điển động của biểu diễn được mã hóa bằng encoder được cập nhật theo momentum. Encoder query được cập nhật bình thường trong khi encoder key sử dụng trung bình động hàm mũ. Điều này tạo từ điển lớn, nhất quán cho học tương phản mà không cần batch size khổng lồ. MoCo v2 và v3 cải thiện hiệu suất với tăng cường và kiến trúc tốt hơn.

📂 Phân loại: Self-Supervised