MMLU (Massive Multitask Language Understanding) / MMLU

📖 MMLU (Massive Multitask Language Understanding)

Definition (English):

MMLU is a benchmark testing LLM knowledge across 57 subjects spanning STEM, humanities, social sciences, and professional fields. It uses multiple-choice questions at various difficulty levels. GPT-4 scores ~86%, Claude ~85%. MMLU-Pro and MMLU-Redux provide harder, less ambiguous versions. MMLU is a primary metric for evaluating general knowledge and reasoning in LLMs.

📖 MMLU

Định nghĩa (Tiếng Việt):

MMLU là benchmark kiểm tra kiến thức LLM trên 57 môn học trải rộng STEM, nhân văn, khoa học xã hội và lĩnh vực nghề nghiệp. Nó sử dụng câu hỏi trắc ở các mức độ khó khác nhau. GPT-4 đạt ~86%, Claude ~85%. MMLU-Pro và MMLU-Redux cung cấp phiên bản khó hơn, ít mơ hồ hơn. MMLU là chỉ số chính để đánh giá kiến thức tổng quát và lý luận trong LLM.

📂 Phân loại: Benchmarks