Residual Connection / Kết nối Residual

📖 Residual Connection

Definition (English):

Residual connections (skip connections) add the input of a layer directly to its output, creating an identity shortcut. This enables training of very deep networks by mitigating the vanishing gradient problem — gradients flow directly through skip connections. ResNet introduced residual connections enabling 100+ layer networks. They are fundamental in transformers (residual around each sub-layer) and modern deep architectures.

📖 Kết nối Residual

Định nghĩa (Tiếng Việt):

Kết nối residual (skip connection) thêm đầu vào của lớp trực tiếp vào đầu ra, tạoshortcut dạng identity. Điều này cho phép huấn luyện mạng rất sâu bằng cách giảm thiểu vấn đề gradient biến mất — gradient chảy trực tiếp qua skip connection. ResNet giới thiệu kết nối residual cho phép mạng 100+ lớp. Chúng là cơ bản trong transformer (residual quanh mỗi lớp con) và kiến trúc sâu hiện đại.

📂 Phân loại: DL Techniques