Layer Normalization / Chuẩn hóa Lớp

📖 Layer Normalization

Definition (English):

Layer Normalization normalizes across features within a single example (instead of across the batch). It is independent of batch size, making it suitable for variable-length sequences and small batch sizes. Layer Normalization is the standard normalization for transformers (used in every sub-layer), GPT models, and recurrent networks. RMSNorm is a simplified variant used in LLaMA and other modern LLMs.

📖 Chuẩn hóa Lớp

Định nghĩa (Tiếng Việt):

Chuẩn hóa Lớp chuẩn hóa qua các đặc trưng trong một ví dụ duy nhất (thay vì qua batch). Nó độc lập với batch size, phù hợp cho chuỗi độ dài biến đổi và batch size nhỏ. Layer Normalization là chuẩn hóa tiêu chuẩn cho transformer (sử dụng trong mỗi lớp con), mô hình GPT và mạng hồi quy. RMSNorm là biến thể đơn giản được sử dụng trong LLaMA và LLM hiện đại khác.

📂 Phân loại: DL Techniques