Weight Initialization / Khởi tạo Trọng số

📖 Weight Initialization

Definition (English):

Weight initialization sets initial values for neural network parameters before training. Poor initialization can cause vanishing/exploding gradients. Common methods: Xavier/Glorot (tanh activations), He/Kaiming (ReLU), and orthogonal initialization. Modern practice uses He initialization for ReLU networks. Proper initialization ensures stable gradient flow and faster convergence at the start of training.

📖 Khởi tạo Trọng số

Định nghĩa (Tiếng Việt):

Khởi tạo trọng số đặt giá trị ban đầu cho tham số mạng nơ-ron trước khi huấn luyện. Khởi tạo kém có thể gây gradient biến mất/phát nổ. Phương pháp phổ biến: Xavier/Glorot (kích hoạt tanh), He/Kaiming (ReLU) và khởi tạo trực giao. Thực hành hiện đại sử dụng He initialization cho mạng ReLU. Khởi tạo đúng đảm bảo dòng gradient ổn định và hội tụ nhanh khi bắt đầu huấn luyện.

📂 Phân loại: DL Techniques