data-pipelines

name	data-pipelines
description	Data pipelines: conception, patterns ETL/ELT, médaillon architecture (bronze/silver/gold), data contracts, lineage, métriques, tests, reverse ETL.
version	1.0.0
author	EVA & The Hive
license	Privée EVA St-Étienne
platforms	["linux","macos","windows"]
metadata	{"EVA":{"tags":["data-pipeline","etl","elt","medallion-architecture","data-contract","data-lineage","data-observability","reverse-etl","dataops"],"homepage":"https://dataprocess.website/","related_skills":["airflow-orchestration","apache-spark","apache-kafka","data-warehouse","data-lakes-lakehouse","dbt-analytics","data-quality-testing"]}}
prerequisites	{"commands":["python3","pip"],"pip_packages":["pandas","pyarrow","great_expectations","soda-core","dbt-core","sqlalchemy","psycopg2-binary","openlineage-python"]}

Compétence Data Pipelines : Conception, Architecture & Patterns

Vue d'ensemble

Un data pipeline est l'épine dorsale de toute organisation data-driven. Cette compétence couvre l'architecture complète :

• ETL vs ELT : quand utiliser chaque approche.
• Architecture Médaillon : bronze (raw) → silver (clean) → gold (agrégé).
• Data Contracts : API de données entre producteurs et consommateurs.
• Lineage : traçabilité des données de bout en bout (OpenLineage).
• Observabilité : métriques de santé (freshness, volume, schema, quality).
• Reverse ETL : synchronisation vers les systèmes opérationnels (CRM, ERP).
• DataOps : CI/CD pour les pipelines, tests en staging.

---

Quand l'utiliser

Activez cette compétence lorsque l'utilisateur :

• Conçoit une nouvelle architecture de données de bout en bout.
• A besoin de patterns ETL/ELT pour ingérer des sources variées.
• Veut implémenter l'architecture médaillon (bronze/silver/gold).
• Pose des questions sur les data contracts, le lineage ou l'observabilité.
• Demande à industrialiser un pipeline existant avec monitoring et alerting.

---

1. Architecture Médaillon (Medallion)

1.1 Les Trois Couches

┌─────────────────────────────────────────────────────────────┐
│                      GOLD (Agrégé)                          │
│  KPIs, OEE, rapports, tableaux de bord, ML features         │
│  Modèle dimensionnel, star schema, vues matérialisées       │
├─────────────────────────────────────────────────────────────┤
│                     SILVER (Nettoyé)                         │
│  Données dédupliquées, typées, validées, enrichies          │
│  Jointures, normalisation, SCD type 2                       │
├─────────────────────────────────────────────────────────────┤
│                     BRONZE (Raw)                             │
│  Copie exacte des sources, format natif (JSON/Avro/Parquet) │
│  Partitionné par date, immuable, rétention configurable     │
└─────────────────────────────────────────────────────────────┘

1.2 Bronze Layer — Ingestion Raw

# Ingestion depuis Kafka vers bronze (Delta/Parquet)
import pandas as pd
from datetime import datetime

def ():
    
    df = pd.read_parquet(source_path)
    df[] = datetime.utcnow()
    df[] = source_path

    
    date_str = datetime.utcnow().strftime()
    output = 
    df.to_parquet(output, partition_cols=[], compression=)
     output