DPO (Direct Preference Optimization) / Tối ưu Ưu tiên Trực tiếp

📖 DPO (Direct Preference Optimization)

Definition (English):

DPO is a simpler alternative to RLHF that directly optimizes the language model using preference pairs without training a separate reward model. It reformulates the RLHF objective as a classification loss on human preferences. DPO is more stable, easier to train, and achieves comparable results to RLHF. It has become the preferred alignment method for open-source LLMs.

📖 Tối ưu Ưu tiên Trực tiếp

Định nghĩa (Tiếng Việt):

DPO là giải pháp đơn giản hơn thay thế RLHF tối ưu hóa trực tiếp mô hình ngôn ngữ bằng cặp ưu tiên mà không huấn luyện reward model riêng. nó tái định dạng mục tiêu RLHF thành classification loss trên ưu tiên con người. DPO ổn định hơn, dễ huấn luyện hơn và đạt kết quả tương đương RLHF. Nó đã trở thành phương pháp căn chỉnh ưa thích cho LLM mã nguồn mở.

📂 Phân loại: RL Tech