BERT / BERT

📖 BERT

Definition (English):

BERT (Bidirectional Encoder Representations from Transformers) is a language representation model developed by Google in 2018. Unlike GPT which processes text left-to-right, BERT processes text bidirectionally, allowing it to understand context from both directions. BERT was pre-trained on Masked Language Modeling (MLM) and Next Sentence Prediction (NSP) tasks. It revolutionized NLP benchmarks and spawned variants like RoBERTa, ALBERT, and DistilBERT.

📖 BERT

Định nghĩa (Tiếng Việt):

BERT (Bidirectional Encoder Representations from Transformers) là mô hình biểu diễn ngôn ngữ được phát triển bởi Google năm 2018. Không giống GPT xử lý văn bản từ trái sang phải, BERT xử lý văn bản hai chiều, cho phép nó hiểu ngữ cảnh từ cả hai hướng. BERT được huấn luyện trước trên các nhiệm vụ Masked Language Modeling (MLM) và Next Sentence Prediction (NSP). Nó cách mạng hóa các benchmark NLP và tạo ra các biến thể như RoBERTa, ALBERT và DistilBERT.

📂 Phân loại: Research