Azure Data Engineer

Zakres obowiązków:

• Projektowanie i rozwój pipeline’ów danych oraz rozwiązań przetwarzania danych w oparciu o Azure Databricks i Python

• Budowa i utrzymanie rozwiązań na platformie Azure Data (Data Lake, Data Factory, Synapse)

• Tworzenie i rozwój Data Products oraz zarządzanie nimi (Unity Catalog)

• Współpraca z biznesem — zbieranie wymagań i przekładanie ich na rozwiązania techniczne

• Dbanie o jakość danych, bezpieczeństwo oraz zgodność z wymaganiami

• Integracja rozwiązań danych z innymi systemami w organizacji

• Usprawnianie wydajności, skalowalności i kosztów rozwiązań

Wymagania:

• Bardzo dobra znajomość:

  • Azure Databricks

  • Python

  • Apache Spark

• Doświadczenie z usługami Azure:

  • Data Lake (ADLS Gen2)

  • Data Factory / Synapse

• Znajomość API (REST lub podobne)

• Doświadczenie w projektowaniu ETL oraz modelowaniu danych

• Podstawowa znajomość architektury danych

• Doświadczenie z CI/CD i Git

• Umiejętność rozwiązywania problemów i pracy w metodykach Agile

• Dobre umiejętności komunikacyjne (współpraca z biznesem i zespołami technicznymi)

Mile widziane:

• Doświadczenie z przetwarzaniem dużych zbiorów danych (big data, streaming)

• Znajomość Unity Catalog oraz zasad data governance

• Doświadczenie z narzędziami wizualizacji danych (np. Power BI)

• Znajomość Databricks Asset Bundles