Senior Data Engineer – Microsoft Fabric & Azure

Over de opdracht

RET zoekt een ervaren Senior Data Engineer voor het Data Office, onderdeel van de afdeling IT Services. Binnen dit team wordt gewerkt aan het ontsluiten, verwerken en beschikbaar stellen van data uit uiteenlopende databronnen. Daarnaast is het Data Office verantwoordelijk voor de ontwikkeling en het beheer van CREDO, het centrale data- en analyticsplatform van RET.

CREDO is gebaseerd op een lakehouse-architectuur binnen Microsoft Azure, met een medallion-structuur en Delta Lake. Momenteel werkt RET aan de migratie naar Microsoft Fabric. Tegelijkertijd staan performanceoptimalisatie, datakwaliteit, monitoring en kostenbeheersing centraal.

Als Senior Data Engineer lever je een belangrijke bijdrage aan de verdere ontwikkeling van dit platform. Je bouwt schaalbare datapipelines, ontwikkelt datamodellen en helpt de organisatie om data op een veilige, efficiënte en betrouwbare manier beschikbaar te stellen.

Je werkt samen met andere Data Engineers, de Lead Data Platform Engineer, Solution Architect, Data Analisten en stakeholders uit verschillende bedrijfsonderdelen. Daarbij draag je actief bij aan het verbeteren van technische standaarden, architectuur en kennisdeling binnen het team.

Wat ga je doen?

Je werkzaamheden bestaan onder andere uit:

• Doorontwikkelen van het CREDO-dataplatform en realiseren van onderdelen van de technische roadmap.
• Migreren van bestaande pipelines, notebooks en datamodellen van Azure Synapse naar Microsoft Fabric.
• Ontwikkelen en onderhouden van schaalbare datapipelines en PySpark-notebooks binnen de bronze-, silver- en gold-lagen van de medallion-architectuur.
• Ontwerpen en implementeren van dimensionele datamodellen voor gestructureerde en ongestructureerde databronnen.
• Implementeren van data quality frameworks, controles en data cleansing-processen binnen ETL/ELT.
• Structureren en beheren van SQL-datawarehouses, waaronder Azure SQL Database en Fabric Database.
• Vertalen van requirements van Data Analisten en stakeholders naar technische specificaties en oplossingen.
• Inrichten en toepassen van CI/CD-pipelines voor geautomatiseerde build-, test- en deploymentprocessen, inclusief kwaliteits- en beveiligingscontroles.
• Analyseren en oplossen van complexe technische problemen, uitvoeren van code reviews en verzorgen van documentatie en monitoring.
• Optimaliseren van performance, schaalbaarheid en kosten van het dataplatform.
• Actief delen van kennis en begeleiden van andere Data Engineers bij hun technische ontwikkeling.

Op te leveren resultaat

Je levert een concrete bijdrage aan de verdere ontwikkeling van het operationele CREDO-dataplatform door één of meerdere overeengekomen onderdelen van de roadmap te realiseren.

Het resultaat bestaat onder andere uit werkende en gedocumenteerde datapipelines, ontwikkelde PySpark-notebooks en ontworpen en gebouwde datamodellen waarmee gestructureerde en ongestructureerde databronnen betrouwbaar kunnen worden ontsloten en verwerkt.

De oplossingen sluiten aan op de doelarchitectuur van RET en ondersteunen de verdere ontwikkeling van het platform richting Microsoft Fabric.