Mixture of Experts (MoE) / Hỗn hợp Chuyên gia (MoE)

📖 Mixture of Experts (MoE)

Definition (English):

Mixture of Experts is an architectural pattern where a model is divided into multiple specialized sub-networks (experts), with a routing mechanism that selects which experts to activate for each input. This allows very large models (like Mixtral 8x7B with 46.7B total parameters) to be computationally efficient by only activating a subset of parameters per token. MoE enables scaling model capacity without proportional increases in compute cost.

📖 Hỗn hợp Chuyên gia (MoE)

Định nghĩa (Tiếng Việt):

Hỗn hợp Chuyên gia (MoE) là mẫu kiến trúc trong đó mô hình được chia thành nhiều mạng con chuyên biệt (chuyên gia), với cơ chế định tuyến xác định chuyên gia nào cần kích hoạt cho mỗi đầu vào. Điều này cho phép các mô hình rất lớn (như Mixtral 8x7B với 46.7B tham số tổng) hiệu quả về mặt tính toán bằng cách chỉ kích hoạt một phần tham số mỗi token. MoE cho phép mở rộng dung lượng mô hình mà không tăng tương ứng chi phí tính toán.

📂 Phân loại: Recent