Mixture of Experts / Hỗn hợp Chuyên gia

📖 Mixture of Experts

Definition (English):

Mixture of Experts (MoE) is a machine learning technique where multiple specialized sub-networks (experts) are combined, with a gating network that determines which experts to activate for each input. This allows models to have very large capacity while only activating a fraction of parameters per input. MoE is used in models like Mixtral and GShard to achieve high performance with efficient computation.

📖 Hỗn hợp Chuyên gia

Định nghĩa (Tiếng Việt):

Hỗn hợp Chuyên gia (MoE) là kỹ thuật học máy trong đó nhiều mạng con chuyên biệt (chuyên gia) được kết hợp, với mạng cổng xác định chuyên gia nào cần kích hoạt cho mỗi đầu vào. Điều này cho phép mô hình có dung lượng rất lớn trong khi chỉ kích hoạt một phần nhỏ tham số cho mỗi đầu vào. MoE được sử dụng trong các mô hình như Mixtral và GShard để đạt hiệu suất cao với tính toán hiệu quả.

📂 Phân loại: Advanced Topics