airflow-orchestration

name	airflow-orchestration
description	Apache Airflow: orchestration de pipelines de données (DAGs, operators, sensors, TaskFlow, execution environments, alerting).
version	1.0.0
author	EVA & The Hive
license	Privée EVA St-Étienne
platforms	["linux","macos","windows"]
metadata	{"EVA":{"tags":["airflow","dag","orchestration","etl","taskflow","scheduler","celery","docker-operator","kubernetes-pod-operator"],"homepage":"https://airflow.apache.org/","related_skills":["data-pipelines","apache-spark","data-quality-testing","data-warehouse","data-lakes-lakehouse"]}}
prerequisites	{"commands":["python3","pip","docker"],"pip_packages":["apache-airflow","apache-airflow-providers-docker","apache-airflow-providers-cncf-kubernetes","apache-airflow-providers-postgres","apache-airflow-providers-amazon"]}

Compétence Apache Airflow : Orchestration de Pipelines de Données

Vue d'ensemble

Apache Airflow est la plateforme d'orchestration la plus utilisée en data engineering. Elle permet de définir, planifier et monitorer des pipelines de données complexes sous forme de DAGs (Directed Acyclic Graphs).

Architecture clé :

• Scheduler : planifie les exécutions des DAGs.
• Worker (Executor) : exécute les tâches (LocalExecutor, CeleryExecutor, KubernetesExecutor).
• Web Server : interface utilisateur pour le monitoring.
• Metastore : base de données (PostgreSQL) pour l'état des DAGs/tâches.
• Queue (Celery) : file de messages pour la distribution des tâches.

Cette compétence couvre : TaskFlow API (2.0+), operators custom, sensors, Dynamic Task Mapping, execution environments (Docker / K8s Pod operator), gestion des secrets (Airflow Connections / Variables), alerting et SLA.

---

Quand l'utiliser

Activez cette compétence lorsque l'utilisateur :

• Veut orchestrer des pipelines ETL/ELT complexes multi-systèmes.
• A besoin de planification, retry, alerting pour des jobs batch.
• Demande d'interagir avec Spark, Kafka, dbt, Snowflake via Airflow.
• Veut gérer des dépendances inter-DAG ou intra-DAG.
• Pose des questions sur le choix de l'executor (Celery vs Kubernetes), les pools, les SLAs.

---

Prérequis

pip install "apache-airflow[celery,postgres,amazon,docker,kubernetes]==2.10"

Démarrer en local :

export AIRFLOW_HOME=~/airflow
airflow db init
airflow users create --username eva --password eva --role Admin \
    --email [e-mail] --firstname EVA --lastname Admin
airflow standalone  # scheduler + webserver en un

---

1. Structures de DAG

1.1 DAG Classique (Context Manager)

from datetime import datetime, timedelta
from airflow import DAG
from airflow.operators.python import PythonOperator
from airflow.operators.bash  BashOperator

default_args = {
    : ,
    : ,
    : ,
    : [],
    : ,
    : ,
    : timedelta(minutes=),
    : timedelta(hours=),
    : timedelta(hours=),     
}

 DAG(
    dag_id=,
    default_args=default_args,
    description=,
    schedule_interval=,    
    start_date=datetime(, , ),
    catchup=,
    tags=[, , ],
)  dag:

     ():
        
        execution_date = context[]
        ()
         {: , : [, ]}

     ():
        result = ti.xcom_pull(task_ids=)
        ()
         {: result[]}

    extract = PythonOperator(
        task_id=,
        python_callable=extract_sensors,
    )

    transform = PythonOperator(
        task_id=,
        python_callable=transform_data,
    )

    load = BashOperator(
        task_id=,
        bash_command=,
    )

    extract >> transform >> load