DAG. Dans Airflow, un DAG – ou a Directed Acyclic Graph – est une collection de toutes les tâches que vous souhaitez exécuter, organisées de manière à refléter leurs relations et dépendances.
Comment créer des DAG dans Airflow ?
Pour créer un DAG dans Airflow, il faut toujours importer la classe DAG Après la classe DAG, viennent les importations d'Opérateurs. Fondamentalement, pour chaque opérateur que vous souhaitez utiliser, vous devez effectuer l'importation correspondante. Par exemple, vous voulez exécuter une fonction Python, vous devez importer le PythonOperator.
Où Airflow recherche-t-il les DAG ?
Airflow recherche dans votre DAGS_FOLDER les modules qui contiennent des objets DAG dans leur espace de noms global et ajoute les objets qu'il trouve dans le DagBag.
Comment Airflow stocke-t-il les DAG ?
Base de données de métadonnées Apache Airflow:
La base de données de métadonnées stocke les configurations, telles que les variables et les connexions Elle stocke également les informations utilisateur, les rôles et les politiques. Enfin, le planificateur analyse tous les DAG et stocke les métadonnées pertinentes telles que les intervalles de planification, les statistiques de chaque exécution et leurs tâches.
Airflow est-il un outil ETL ?
Airflow n'est pas un outil ETL en soi. Mais il gère, structure et organise les pipelines ETL à l'aide de quelque chose appelé Directed Acyclic Graphs (DAG). … La base de données de métadonnées stocke les workflows/tâches (DAG).
