Data Engineer (Azure Databricks)

Functieomschrijving

Voor een opdrachtgever zoeken wij een ervaren Data Engineer met sterke kennis van Azure Databricks. Je versterkt een lopend dataplatform-traject waarin de migratie van een bestaand Enterprise Data Warehouse (EDW) naar een Data Lakehouse (DLH) centraal staat. Je komt terecht in een gezellig en jong team, waarvan de teamleden twee à drie dagen per week op locatie werken.

Werkzaamheden

• Het versnellen van de ingestion van bronsystemen.
• Het migreren van de Silver layer van EDW naar DLH.
• Het omzetten van ruim 1.000 views van Silver naar Gold, zodat de business ze kan gebruiken.
• Veel repeterend werk, dus wie standaardiseert en automatiseert (templates, generieke frameworks) is een duidelijke plus.

Must-haves

• Aantoonbare ervaring met Azure Databricks.
• Sterk in Python, SQL en Spark (PySpark / Spark SQL).
• Ervaring met lakehouse-architectuur en de medallion-structuur (Bronze/Silver/Gold).
• Ervaring met data-migraties van een klassiek DWH naar een cloudplatform.

Nice-to-haves

• Delta Lake, Unity Catalog, Databricks Workflows.
• Azure Data Factory / Azure Data Lake Storage.
• CI/CD voor data (Azure DevOps of GitHub), dbt of vergelijkbare tooling.

Randvoorwaarden

• Start: per direct / zo spoedig mogelijk
• Inzet: fulltime (40 uur per week)
• Duur: 3 maanden, met optie tot verlenging
• Locatie: Driebergen-Zeist