Data engineering
L'essentiel
Caractéristiques
Cours
1 heuresAdaptable
Lieu et mode de présence
3 départements
Présentiel
Distanciel
Domaines d’enseignement
Data science | Big data
Présentation
L’ingénierie des données regroupe l’ensemble des pratiques permettant de concevoir, développer et orchestrer des architectures distribuées et des pipelines de données scalables. Elle implique la mise en place de systèmes d’ingestion en temps réel ou batch, l’intégration de sources hétérogènes, la modélisation de schémas (OLTP, OLAP, data lakes, data warehouses), et l’optimisation des performances grâce à des techniques de partitionnement, de parallélisation et de gestion fine des ressources.
Les data engineers implémentent et automatisent des workflows ETL/ELT, assurent la gouvernance (catalogage, lineage, qualité, conformité), et développent des API ou services permettant l’accès sécurisé aux données. Leurs outils incluent les plateformes cloud (AWS, GCP, Azure), les moteurs distribués (Spark, Flink), les systèmes de messages et streaming (Kafka, Pub/Sub), les orchestrateurs (Airflow, Dagster), ainsi que divers environnements CI/CD pour garantir la fiabilité et la reproductibilité des pipelines.