Model Merging / Hợp nhất Mô hình

📖 Model Merging

Definition (English):

Model merging combines multiple fine-tuned models into a single model without additional training. Methods: linear merging (weight averaging), TIES-MERGING (trim, elect sign, merge), DARE (drop and rescale), Passthrough (Frankenmerging layers). Merging preserves diverse capabilities (coding + reasoning + multilingual). Model soups (averaging checkpoints) improve generalization. Popular in open-source community (MergeKit library).

📖 Hợp nhất Mô hình

Định nghĩa (Tiếng Việt):

Hợp nhất mô hình kết hợp nhiều mô hình fine-tuned thành một mô hình duy nhất mà không cần huấn luyện thêm. Phương pháp: merging tuyến tính (trung bình trọng số), TIES-MERGING (trim, chọn dấu, merge), DARE (drop và rescale), Passthrough (Frankenmerging layers). Merging bảo toàn các khả năng đa dạng (coding + reasoning + đa ngôn ngữ). Model soups (trung bình checkpoint) cải thiện khái quát hóa. Phổ biến trong cộng đồng mã nguồn mở (thư viện MergeKit).

📂 Phân loại: Foundation Models