[SCH] Data Engineer Hadoop - 1965 (IT) / Freelance

Au sein de la DSI, l’entité concernée fournit aux services Technologies & Opérations les applications nécessaires à leur fonctionnement. Le consultant interviendra sur les évolutions du datalake, en lien avec l’équipe de production applicative / devops.

Missions :

• Mettre en œuvre de nouvelles ingestions de données
• Réaliser la data prep/transformation
• Maintenir les outils de gestion des pipelines de données
• Faire évoluer les outils de gestion des pipelines de données avec Pyspark et shell scripting
• Adresser à l’équipe devops les demandes relatives aux évolutions de la plateforme
• Rédiger des spécifications techniques claires et précises
• Travailler dans un environnement agile avec la méthodologie SCRUM

Profil attendu :

Le consultant doit avoir une excellente maîtrise de la plateforme Hadoop ainsi que du développement en Python/PySpark et Hive. Une bonne connaissance de SQL, GIT, Jenkins, Jira et du shell scripting sous Unix/Linux est nécessaire. La maîtrise de l’anglais à l’écrit et à l’oral est requise pour les échanges avec les interlocuteurs basés à Porto. Une expérience dans des environnements agiles, en particulier avec la méthodologie SCRUM, est attendue.