Data Engineer (H/F)

La mission consiste à intervenir sur des projets de Data Engineering et de développement de plateformes Data, avec pour objectif de concevoir, développer, industrialiser et optimiser des pipelines de traitement de données dans un environnement Cloud AWS et Databricks.

Le consultant sera notamment chargé de :

• Développement Data : concevoir et développer des pipelines de données en Python et PySpark afin de collecter, transformer et traiter des volumes importants de données

• Expertise SQL : rédiger des requêtes SQL complexes, assurer la modélisation et la transformation des données, et optimiser les performances des traitements et des requêtes

• Databricks & DBT : développer et maintenir des traitements de données, structurer les transformations et garantir la fiabilité ainsi que la qualité des données

• Orchestration des workflows : mettre en place et gérer l'ordonnancement des pipelines et des traitements avec Airflow / Astro Scheduler

• Industrialisation & CI/CD : mettre en œuvre les processus de déploiement continu et d'intégration continue avec GitHub CI/CD, en veillant à la qualité, à la maintenabilité et à la fiabilité du code

• Environnement Cloud AWS : intervenir sur une architecture Data Cloud et exploiter les services AWS nécessaires au stockage, au traitement et à la gestion des données

• Développement assisté par IA : utiliser GitHub Copilot pour accélérer le développement, améliorer la productivité et optimiser la qualité du code

• Méthodologie Agile : participer aux cérémonies Agile, collaborer avec les différentes équipes techniques et fonctionnelles et contribuer à l'amélioration continue des solutions

Profil recherché

Un Data Engineer confirmé à senior, disposant d'une solide expérience en développement et en traitement de données, avec une forte expertise SQL et une bonne maîtrise des environnements Big Data et Cloud.

Le candidat devra être capable de travailler en autonomie sur le développement et l'optimisation des pipelines Data, tout en maîtrisant les enjeux de performance, de qualité, d'industrialisation et de fiabilité des traitements.

Langues

• Français : bilingue

• Anglais : intermédiaire

Compétences techniques attendues

SQL / Optimisation SQL : Expert

Python : Confirmé

PySpark : Avancé

Databricks : Confirmé

DBT : Confirmé

AWS : Avancé

Airflow / Astro Scheduler : Avancé

GitHub CI/CD : Confirmé

GitHub Copilot / Développement assisté par IA : Confirmé

Méthodologie Agile : Confirmé