Pruning / Cắt tỉa

📖 Pruning

Definition (English):

Pruning removes redundant parameters (weights, neurons, or entire layers) from a trained neural network to reduce model size and inference time. Unstructured pruning removes individual weights below a threshold; structured pruning removes entire channels/layers. Pruning can achieve 50-90% parameter reduction with minimal accuracy loss. Combined with quantization, it enables deployment of large models on constrained hardware.

📖 Cắt tỉa

Định nghĩa (Tiếng Việt):

Cắt tỉa loại bỏ các tham số thừa (trọng số, nơ-ron hoặc toàn bộ lớp) từ mạng nơ-ron đã huấn luyện để giảm kích thước mô hình và thời gian suy luận. Cắt tỉa không cấu trúc loại bỏ trọng số riêng lẻ dưới ngưỡng; cắt tỉa có cấu trúc loại bỏ toàn bộ kênh/lớp. Cắt tỉa có thể đạt giảm 50-90% tham số với mất mát độ chính xác tối thiểu. Kết hợp với lượng tử hóa, nó cho phép triển khai mô hình lớn trên phần cứng bị hạn chế.

📂 Phân loại: DL Techniques