Data Engineer Senior – AWS / Python / PySpark / Airflow

Nous recherchons un Data Engineer Senior pour renforcer une équipe Data et intervenir sur une plateforme AWS traitant d'importants volumes de données.

Vous participerez à la conception, à l'optimisation et à l'industrialisation des pipelines Data, avec des enjeux forts de performance, de qualité et de scalabilité.

Missions principales

• Concevoir, développer et maintenir des pipelines Data sur AWS.

• Développer et optimiser les traitements en Python, SQL et PySpark.

• Orchestrer les workflows avec Airflow / MWAA.

• Optimiser les traitements Spark sur des volumes importants.

• Concevoir et faire évoluer les modèles de données au sein du Data Lake.

• Garantir la qualité, la fiabilité et la performance des données.

• Mettre en place le monitoring et optimiser les coûts des traitements.

• Collaborer avec les équipes Data Science et métiers.

• Exploiter les outils d'IA générative et agentique pour améliorer les pratiques de développement.

Environnement technique

Stack principale :

• AWS : S3, Glue, Athena, EMR, MWAA, ECS, Lambda

• Python : Pandas, PySpark, AWS Wrangler

• SQL avancé

• Apache Spark

• Apache Airflow / MWAA

• Parquet, Iceberg, Delta Lake

Compétences complémentaires :

• Terraform

• IAM / Sécurité Cloud

• Data Lake / Data Modeling

• IA générative et agentique

Profil recherché

• 6 ans d'expérience minimum en Data Engineering.

• Excellente maîtrise de Python et des bonnes pratiques de développement.

• Solide expertise de l'écosystème AWS Data.

• Très bon niveau en SQL avancé et optimisation des requêtes.

• Expérience confirmée en Spark / PySpark sur des volumes importants.

• Maîtrise de l'orchestration des pipelines avec Airflow / MWAA.

• Bonne connaissance des formats Parquet, Iceberg ou Delta Lake.

• Expérience dans l'industrialisation, le monitoring et l'optimisation des traitements.

• Autonomie, rigueur et forte appétence technique.