Inference / Suy luận

📖 Inference

Definition (English):

AI inference is the process of using a trained AI model to make predictions or generate outputs from new input data. Unlike training, which requires massive compute resources, inference is about deploying and running the model efficiently. Inference optimization techniques include quantization, pruning, distillation, and batching. The goal is to minimize latency and cost while maintaining accuracy. Edge inference enables AI on devices without cloud connectivity.

📖 Suy luận

Định nghĩa (Tiếng Việt):

Suy luận AI là quá trình sử dụng mô hình AI đã huấn luyện để đưa ra dự đoán hoặc tạo đầu ra từ dữ liệu đầu vào mới. Không giống huấn luyện, đòi hỏi tài nguyên tính toán lớn, suy luận là về triển khai và chạy mô hình hiệu quả. Các kỹ thuật tối ưu hóa suy luận bao gồm lượng tử hóa, cắt tỉa, chưng cất và batch. Mục tiêu là giảm độ trễ và chi phí trong khi duy trì độ chính xác. Suy luận biên cho phép AI trên thiết bị không có kết nối đám mây.

📂 Phân loại: Practical