Attention Is All You Need / Attention là Tất cả

📖 Attention Is All You Need

Definition (English):

"Attention Is All You Need" is the seminal 2017 paper by Vaswani et al. that introduced the Transformer architecture. This paper revolutionized NLP by replacing recurrent and convolutional layers with self-attention mechanisms. The Transformer's parallel processing capability and ability to capture long-range dependencies led to the development of BERT, GPT, and virtually all modern LLMs. It is one of the most cited papers in AI history.

📖 Attention là Tất cả

Định nghĩa (Tiếng Việt):

"Attention Is All You Need" là bài báo đột phá năm 2017 của Vaswani et al. giới thiệu kiến trúc Transformer. Bài báo này cách mạng hóa NLP bằng cách thay thế các lớp recurrent và convolution bằng cơ chế self-attention. Khả năng xử lý song song và nắm bắt phụ thuộc dài hạn của Transformer đã dẫn đến phát triển BERT, GPT và hầu hết tất cả LLM hiện đại. Đây là một trong những bài báo được trích dẫn nhiều nhất trong lịch sử AI.

📂 Phân loại: Research