Senior Data Engineer

Senior Data Enginner (Azure, Databricks) poszukiwany!

Dołącz do długoterminowego projektu realizowanego dla globalnej firmy z branży turystycznej, specjalizującej się w rejsach rzecznych, morskich i oceanicznych oraz wyprawach ekspedycyjnych. Klient zarządza rozbudowaną flotą i dużymi wolumenami danych wykorzystywanych w procesach operacyjnych, finansowych, raportowych i analitycznych. Poszukujemy doświadczonego Senior Data Engineera, który będzie rozwijać i optymalizować nowoczesną platformę danych opartą na technologiach Microsoft Azure i Databricks.

Stawka: 145 pln/h netto Współpraca: B2B 100% zdalnie

Twoje codzienne zadania:

• Projektowanie, rozwijanie i utrzymywanie skalowalnych rozwiązań do przetwarzania danych w środowisku Azure.
• Budowanie i optymalizacja procesów ETL/ELT z wykorzystaniem Python, SQL i Apache Spark.
• Rozwijanie rozwiązań opartych na Azure Databricks, Azure Data Factory, Azure Synapse Analytics i Azure Data Lake.
• Tworzenie i utrzymywanie przepływów danych oraz procesów orkiestracji, w tym rozwiązań Delta Live Tables (DLT).
• Wspieranie migracji i modernizacji platformy danych, w tym wdrażania Unity Catalog.
• Zapewnianie jakości, bezpieczeństwa, niezawodności i wysokiej wydajności przetwarzania danych.
• Diagnozowanie i rozwiązywanie problemów w środowisku produkcyjnym.
• Udział w automatyzacji infrastruktury, wdrażaniu CI/CD oraz monitorowaniu procesów.
• Optymalizacja potoków danych i kosztów infrastruktury.
• Współpraca z architektami danych, analtykami i zespołami biznesowymi przy projektowaniu rozwiązań technicznych.
• Wspieranie inicjatyw związanych z analityką, raportowaniem i AI/ML.

Must have:

• Doświadczenie na stanowisku Data Engineer lub Senior Data Engineer.
• Bardzo dobra znajomość Python, SQL i Apache Spark.
• Praktyczne doświadczenie z Microsoft Azure oraz Azure Databricks.
• Znajomość Azure Data Factory, Azure Data Lake i Azure Synapse Analytics.
• Doświadczenie w projektowaniu i utrzymywaniu procesów ETL/ELT.
• Doświadczenie w pracy z Delta Live Tables (DLT) i Unity Catalog.
• Znajomość architektury Lakehouse.
• Doświadczenie w pracy z CI/CD i Azure DevOps.
• Znajomość zagadnień związanych z automatyzacją infrastruktury, monitorowaniem i logowaniem.
• Umiejętność diagnozowania problemów i optymalizacji rozwiązań przetwarzających duże wolumeny danych.
• Angielski na poziomie min. B2