Attention Mechanism / Cơ chế Attention

📖 Attention Mechanism

Definition (English):

The attention mechanism allows neural networks to dynamically focus on different parts of the input when producing each element of the output. It computes weighted combinations of values, where weights are derived from the compatibility of queries with keys. Multi-head attention runs multiple attention functions in parallel. Attention is the foundation of transformers and has become the dominant architectural pattern in deep learning.

📖 Cơ chế Attention

Định nghĩa (Tiếng Việt):

Cơ chế attention cho phép mạng nơ-ron tập trung động vào các phần khác nhau của đầu vào khi tạo từng phần tử đầu ra. Nó tính tổ hợp có trọng số của các giá trị, trong đó trọng số được suy ra từ tương thích của queries với keys. Attention đa đầu chạy nhiều hàm attention song song. Attention là nền tảng của transformers và đã trở thành mẫu kiến trúc chủ đạo trong học sâu.

📂 Phân loại: DL Techniques