apache-spark

name	apache-spark
description	Apache Spark: traitement distribué batch & streaming avec PySpark, Spark SQL, MLlib, Structured Streaming et optimisation Catalyst/Tungsten.
version	1.0.0
author	EVA & The Hive
license	Privée EVA St-Étienne
platforms	["linux","macos","windows"]
metadata	{"EVA":{"tags":["spark","pyspark","spark-sql","streaming","big-data","databricks","emr","glue","parquet","delta-lake"],"homepage":"https://spark.apache.org/","related_skills":["apache-kafka","apache-flink","data-lakes-lakehouse","data-pipelines","airflow-orchestration"]}}
prerequisites	{"commands":["python3","pip","java"],"pip_packages":["pyspark","delta-spark","pyarrow","pandas"]}

Compétence Apache Spark : Traitement Distribué Batch & Streaming

Vue d'ensemble

Apache Spark est le moteur unifié de traitement distribué pour l'analyse de gros volumes de données. Il excelle dans quatre domaines :

• Spark SQL : Requêtes SQL sur DataFrames/DataSets, optimisation Catalyst.
• Structured Streaming : Traitement en continu avec exactement-une-fois (exactly-once).
• MLlib : Machine learning distribué (régression, classification, clustering).
• GraphX : Traitement de graphes.

Cette compétence couvre les patterns de production : déploiement sur cluster (YARN/Kubernetes), optimisation Catalyst/Tungsten, tuning mémoire, gestion des shuffles, et intégration avec le lac de données (Delta Lake, Iceberg, Hudi).

---

Quand l'utiliser

Activez cette compétence lorsque l'utilisateur :

• Demande de traiter de gros volumes de données (Go → Po) avec PySpark ou Scala.
• Veut exécuter des transformations ETL distribuées sur un cluster (Databricks, EMR, Glue).
• A besoin de streaming structuré à partir de Kafka ou de fichiers.
• Pose des questions sur l'optimisation Spark (shuffle, partitionnement, Catalyst).
• Veut écrire/lire en Delta Lake, Iceberg ou Parquet avec Spark.

---

Prérequis

Installation Locale (développement)

pip install pyspark delta-spark pyarrow pandas

Vérification :

from pyspark.sql import SparkSession
spark = SparkSession.builder \
    .appName("EVA-Spark-Test") \
    .config("spark.sql.adaptive.enabled", "true") \
    .getOrCreate()
print(f"Spark {spark.version} OK — {spark.sparkContext.defaultParallelism} partitions par défaut")
spark.stop()

Java

Spark nécessite Java 8/11/17 :

java -version  # >= 8 requis

---

1. SparkSession : Configuration de Production

1.1 Session avec Optimisations

from pyspark.sql import SparkSession
 os

spark = SparkSession.builder \
    .appName() \
    .config(, ) \           
    .config(, ) \
    .config(, ) \    
    .config(, ) \                  
    .config(, ) \
    .config(, ) \
    .config(, ) \
    .config(, ) \
    .config(, ) \
    .getOrCreate()