Activation Function / Hàm Kích hoạt

📖 Activation Function

Definition (English):

Activation functions introduce non-linearity into neural networks, enabling them to learn complex patterns. Key functions: ReLU (f(x)=max(0,x), efficient but can cause dead neurons), Leaky ReLU, GELU (Gaussian Error Linear Unit, used in transformers), SiLU/Swish (smooth ReLU variant), Sigmoid (0-1 output), Tanh (-1 to 1). GELU is the dominant activation in modern transformer architectures.

📖 Hàm Kích hoạt

Định nghĩa (Tiếng Việt):

Hàm kích hoạt giới thiệu tính phi tuyến vào mạng nơ-ron, cho phép chúng học các mẫu phức tạp. Hàm chính: ReLU (f(x)=max(0,x), hiệu quả nhưng có thể gây nơ-ron chết), Leaky ReLU, GELU (Gaussian Error Linear Unit, dùng trong transformer), SiLU/Swish (biến thể ReLU mượt), Sigmoid (đầu ra 0-1), Tanh (-1 đến 1). GELU là hàm kích hoạt chủ đạo trong kiến trúc transformer hiện đại.

📂 Phân loại: DL Techniques