Data Mixing Laws / Luật Trộn Dữ liệu

📖 Data Mixing Laws

Definition (English):

Data mixing laws describe how the composition of training data (the proportions of different data sources like web text, books, code, scientific papers) affects model performance. Research shows that data quality and mix ratios matter more than sheer volume. Chinchilla and later work provide formulas for optimal compute-data allocation. Domain-specific mixing ratios are critical for multi-domain models.

📖 Luật Trộn Dữ liệu

Định nghĩa (Tiếng Việt):

Luật trộn dữ liệu mô tả cách thành phần dữ liệu huấn luyện (tỷ lệ các nguồn dữ liệu khác nhau như văn bản web, sách, mã nguồn, bài báo khoa học) ảnh hưởng đến hiệu suất mô hình. Nghiên cứu cho thấy chất lượng dữ liệu và tỷ lệ trộn quan trọng hơn khối lượng thuần túy. Chinchilla và các nghiên cứu sau cung cấp công thức cho phân bổ compute-data tối ưu. Tỷ lệ trộn theo lĩnh vực rất quan trọng cho mô hình đa领域.

📂 Phân loại: Training