Attention Mechanism / Cơ chế Attention

📖 Attention Mechanism

Definition (English):

The attention mechanism is a component of neural networks that allows the model to focus on different parts of the input sequence when producing each element of the output sequence. It assigns weights to input elements based on their relevance to the current output. Self-attention, the foundation of Transformers, enables the model to capture long-range dependencies and has revolutionized NLP and increasingly computer vision.

📖 Cơ chế Attention

Định nghĩa (Tiếng Việt):

Cơ chế attention là thành phần của mạng nơ-ron cho phép mô hình tập trung vào các phần khác nhau của chuỗi đầu vào khi tạo từng phần tử của chuỗi đầu ra. Nó gán trọng số cho các phần tử đầu vào dựa trên mức độ liên quan của chúng với đầu ra hiện tại. Self-attention, nền tảng của Transformer, cho phép mô hình nắm bắt phụ thuộc dài hạn và đã cách mạng hóa NLP và ngày càng là thị giác máy tính.

📂 Phân loại: NLP Advanced