Scaling Laws / Luật Mở rộng

📖 Scaling Laws

Definition (English):

Scaling laws describe the relationship between model performance and key factors like model size, dataset size, and compute budget. OpenAI's research showed that language model performance improves predictably as a power law with increasing scale. These laws help predict the compute needed for desired performance levels and guide resource allocation in AI research.

📖 Luật Mở rộng

Định nghĩa (Tiếng Việt):

Luật mở rộng mô tả mối quan hệ giữa hiệu suất mô hình và các yếu tố chính như kích thước mô hình, kích thước tập dữ liệu và ngân sách tính toán. Nghiên cứu của OpenAI cho thấy hiệu suất mô hình ngôn ngữ cải thiện có thể dự đoán theo hàm mũ khi quy mô tăng. Các luật này giúp dự đoán tính toán cần thiết cho mức hiệu suất mong muốn và hướng dẫn phân bổ tài nguyên trong nghiên cứu AI.

📂 Phân loại: Research+