Data Pipeline / Pipeline Dữ liệu

📖 Data Pipeline

Definition (English):

A data pipeline is a series of data processing steps that move data from its source to a destination where it can be stored and analyzed. In AI/ML workflows, data pipelines handle data collection, cleaning, transformation, feature engineering, and loading. Tools like Apache Airflow, Prefect, dbt, and Kubeflow Pipelines orchestrate these workflows. Reliable data pipelines are critical for production ML systems.

📖 Pipeline Dữ liệu

Định nghĩa (Tiếng Việt):

Pipeline dữ liệu là chuỗi các bước xử lý dữ liệu chuyển dữ liệu từ nguồn đến đích nơi nó có thể được lưu trữ và phân tích. Trong quy trình AI/ML, pipeline dữ liệu xử lý thu thập, làm sạch, biến đổi, kỹ thuật đặc trưng và tải dữ liệu. Các công cụ như Apache Airflow, Prefect, dbt và Kubeflow Pipelines điều phối các quy trình này. Pipeline dữ liệu đáng tin cậy rất quan trọng cho hệ thống ML sản xuất.

📂 Phân loại: Industry