Entropy and Information Theory / Entropy và Lý thuyết Thông tin

📖 Entropy and Information Theory

Definition (English):

Entropy measures the uncertainty or randomness of a random variable. In ML, cross-entropy loss measures the difference between predicted and true distributions. Information theory concepts (mutual information, KL divergence, channel capacity) underpin many ML algorithms. Entropy is used in decision tree splitting, VAE loss functions, and RL exploration strategies.

📖 Entropy và Lý thuyết Thông tin

Định nghĩa (Tiếng Việt):

Entropy đo sự bất ổn hoặc ngẫu nhiên của biến ngẫu nhiên. Trong ML, hàm mất mát entropy chéo đo sự khác biệt giữa phân bố dự đoán và thật. Các khái niệm lý thuyết thông tin (mutual information, phân kỳ KL, dung lượng kênh) là nền tảng cho nhiều thuật toán ML. Entropy được sử dụng trong tách cây quyết định, hàm loss VAE và chiến lược khám phá RL.

📂 Phân loại: Math+