Python

Apache Airflow

Pianifica e monitora le pipeline di dati

di apache · Apache-2.0

Dal README

Installa

pip install 'apache-airflow==3.3.0' \
 --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-3.3.0/constraints-3.10.txt"

• Dynamic: Pipelines are defined in code, enabling dynamic dag generation and parameterization.
• Extensible: The Airflow framework includes a wide range of built-in operators and can be extended to fit your needs.
• Flexible: Airflow leverages the Jinja templating engine, allowing rich customizations.

Estratti dal README del progetto su GitHub. I diritti d'autore e le licenze rimangono con i rispettivi autori.

Cos'è Apache Airflow?

Airflow pianifica le pipeline che alimentano i tuoi modelli — l'orchestratore standard nell'ingegneria dei dati.

Perché le persone scelgono Apache Airflow

• Lo standard del settore, con connettori per tutto
• Chiarezza su cosa è stato eseguito e cosa è andato in errore
• Enorme comunità ed ecosistema di plugin

Apache Airflow in sintesi

Alternative open-source ad Apache Airflow

Altri framework ml open-source & strumenti mlops degni di confronto:

DagsterOrchestrazione che pensa in termini di asset di dati, non di compitiTensorFlowIl framework di deep learning di Google, costruito per la produzionePyTorchIl framework in cui è scritto quasi ogni modello AI modernoOpenCVLa libreria di visione artificiale su cui si basa tutto il restoscikit-learnApprendimento automatico classico, fatto correttamenteRayScala Python da un laptop a un clusterJAXNumPy con autodiff, JIT e TPUXGBoostAncora il migliore per i dati tabulariLabel StudioEtichetta qualsiasi cosa — testo, immagini, audio, videoMLflowTraccia esperimenti e distribuisci modelli senza il foglio di calcoloONNXSposta un modello tra framework e runtimeLightGBMGradient boosting che si allena rapidamente su grandi tabelleCVATAnnotazione seria per la visione artificialeDVCGit per dataset e modelliOptunaTrova i giusti iperparametri senza indovinare

Apache Airflow a confronto

FAQ