Transformer / Bộ chuyển đổi

📖 Transformer

Definition (English):

The Transformer is a deep learning architecture based entirely on attention mechanisms, dispensing with recurrence and convolutions entirely. Introduced in the paper "Attention Is All You Need" (2017), Transformers have become the dominant architecture for natural language processing and are the foundation of models like GPT, BERT, and T5. They process input data in parallel, making them highly efficient for large-scale training.

📖 Bộ chuyển đổi

Định nghĩa (Tiếng Việt):

Bộ chuyển đổi (Transformer) là kiến trúc học sâu dựa hoàn toàn trên cơ chế attention, loại bỏ hoàn toàn recurrent và convolution. Được giới thiệu trong bài báo "Attention Is All You Need" (2017), Transformer đã trở thành kiến trúc chủ đạo cho xử lý ngôn ngữ tự nhiên và là nền tảng của các mô hình như GPT, BERT và T5. Chúng xử lý dữ liệu đầu vào song song, khiến chúng cực kỳ hiệu quả cho huấn luyện quy mô lớn.

📂 Phân loại: DL Architectures