Attention Score / Điểm Attention

📖 Attention Score

Definition (English):

Attention score is the compatibility measure between a query and a key in the attention mechanism. It determines how much focus to place on different parts of the input when producing each element of the output. Common variants include dot-product attention, additive attention, and multi-head attention. The softmax-normalized attention scores form the attention weights that weight the value vectors.

📖 Điểm Attention

Định nghĩa (Tiếng Việt):

Điểm attention là thước đo tương thích giữa truy vấn (query) và khóa (key) trong cơ chế attention. Nó xác định mức độ tập trung vào các phần khác nhau của đầu vào khi tạo từng phần tử của đầu ra. Các biến thể phổ biến bao gồm attention tích vô hướng, attention cộng và attention đa đầu. Điểm attention được chuẩn hóa softmax tạo thành trọng số attention weighting các vector giá trị.

📂 Phân loại: Math+