Mistral & Mixtral / Mistral & Mixtral

📖 Mistral & Mixtral

Definition (English):

Mistral AI (France): Mistral 7B (2023) outperformed LLaMA 2 13B with smaller size. Mixtral 8x7B (2023) sparse MoE (SMoE), 46.7B total, 12.9B active, matched GPT-3.5. Mistral Large (2024) competitive with GPT-4. Mixtral 8x22B (2024) larger MoE. Models are open-weight (Apache 2.0). Strong multilingual, code, reasoning. Efficient inference via vLLM, TensorRT-LLM.

📖 Mistral & Mixtral

Định nghĩa (Tiếng Việt):

Mistral AI (Pháp): Mistral 7B (2023) vượt trội hơn LLaMA 2 13B với kích thước nhỏ hơn. Mixtral 8x7B (2023) MoE thưa (SMoE), 46.7B tổng, 12.9B hoạt động, ngang GPT-3.5. Mistral Large (2024) cạnh tranh GPT-4. Mixtral 8x22B (2024) MoE lớn hơn. Mô hình open-weight (Apache 2.0). Mạnh đa ngôn ngữ, mã, lý luận. Suy luận hiệu quả qua vLLM, TensorRT-LLM.

📂 Phân loại: Foundation Models