Multimodal Learning / Học Đa phương thức

📖 Multimodal Learning

Definition (English):

Multimodal learning is a machine learning approach that combines information from multiple modalities (text, images, audio, video, sensor data) to improve model understanding and performance. It involves learning joint representations that capture relationships across modalities. Key architectures include CLIP (image-text), Whisper (audio-text), and GPT-4V (vision-language).

📖 Học Đa phương thức

Định nghĩa (Tiếng Việt):

Học đa phương thức là cách tiếp cận học máy kết hợp thông tin từ nhiều phương thức (văn bản, hình ảnh, âm thanh, video, dữ liệu cảm biến) để cải thiện hiểu biết và hiệu suất mô hình. Nó liên quan đến việc học biểu diễn chung nắm bắt mối quan hệ qua các phương thức. Các kiến trúc chính bao gồm CLIP (hình ảnh-văn bản), Whisper (âm thanh-văn bản) và GPT-4V (thị giác-ngôn ngữ)

📂 Phân loại: Multimodal