Définition
Spark est un moteur de calcul distribué open source qui traite de très grands volumes de données en répartissant le travail sur une grappe de machines et en gardant au maximum les données en mémoire, ce qui le rend bien plus rapide que MapReduce. Il s'utilise en Python (PySpark), SQL, Scala ou Java, et couvre les traitements par lots, le streaming et l'apprentissage automatique. Databricks, fondée par ses créateurs, en propose la version managée la plus répandue.
Dans la pratique
Spark est la compétence centrale du data engineer sur les plateformes Big Data et Databricks ; elle vaut surtout pour des volumes qui ne tiennent pas sur une machine. Le piège classique est de l'utiliser pour quelques gigaoctets qu'un script Python avec Polars ou DuckDB traiterait en une minute, pour une fraction du coût.
Termes liés
Définition rédigée par L'équipe Top Profil. Glossaire mis à jour le . Tous les termes du glossaire.