Data Engineer (H/F) (IT) / Freelance

La mission consiste à intervenir sur des projets de Data Engineering et de développement de plateformes Data, avec pour objectif de concevoir, développer, industrialiser et optimiser des pipelines de traitement de données dans un environnement Cloud AWS et Databricks.

Le consultant sera notamment chargé de :

• Développement Data : concevoir et développer des pipelines de données en Python et PySpark afin de collecter, transformer et traiter des volumes importants de données

• Expertise SQL : rédiger des requêtes SQL complexes, assurer la modélisation et la transformation des données, et optimiser les performances des traitements et des requêtes

• Databricks & DBT : développer et maintenir des traitements de données, structurer les transformations et garantir la fiabilité ainsi que la qualité des données

• Orchestration des workflows : mettre en place et gérer l'ordonnancement des pipelines et des traitements avec Airflow / Astro Scheduler

• Industrialisation & CI/CD : mettre en œuvre les processus de déploiement continu et d'intégration continue avec GitHub CI/CD, en veillant à la qualité, à la maintenabilité et à la fiabilité du code

• Environnement Cloud AWS : intervenir sur une architecture Data Cloud et exploiter les services AWS nécessaires au stockage, au traitement et à la gestion des données

• Développement assisté par IA : utiliser GitHub Copilot pour accélérer le développement, améliorer la productivité et optimiser la qualité du code

• Méthodologie Agile : participer aux cérémonies Agile, collaborer avec les différentes équipes techniques et fonctionnelles et contribuer à l'amélioration continue des solutions