Rotary Position Embedding (RoPE) / Nhúng Vị trí Quay

📖 Rotary Position Embedding (RoPE)

Definition (English):

RoPE is a position encoding method for transformers that encodes position information by rotating query and key vectors in the attention mechanism. Unlike absolute or learned position embeddings, RoPE encodes relative position naturally and extrapolates better to sequence lengths unseen during training. RoPE is used in most modern LLMs (LLaMA, Mistral, Qwen) and enables efficient long-context processing.

📖 Nhúng Vị trí Quay

Định nghĩa (Tiếng Việt):

RoPE là phương pháp mã hóa vị trí cho transformer mã hóa thông tin vị trí bằng cách quay vector query và key trong cơ chế attention. Không giống nhúng vị trí tuyệt đối hoặc được học, RoPE mã hóa vị trí tương đối tự nhiên và ngoại suy tốt hơn cho độ dài chuỗi chưa thấy trong huấn luyện. RoPE được sử dụng trong hầu hết LLM hiện đại (LLaMA, Mistral, Qwen) và cho phép xử lý ngữ cảnh dài hiệu quả.

📂 Phân loại: DL Techniques