Data Engineer - Fabric [M/F] @ Arche Solutions

Celem projektu jest budowa i rozwój nowoczesnej, skalowalnej platformy danych w ekosystemie Microsoft Azure, umożliwiającej efektywną integrację, transformację i przetwarzanie rosnących ilości danych.

Projekt koncentruje się na automatyzacji procesów data engineeringowych, zapewnieniu wysokiej jakości i dostępności danych oraz budowie niezawodnych i wydajnych pipeline’ów danych z wykorzystaniem Microsoft Fabric, Azure Databricks, Azure Data Factory, Python i SQL.

• Doświadczenie zawodowe na stanowisku Data Engineer lub w podobnej roli.
• Bardzo dobra znajomość SQL.
• Praktyczna znajomość Python w obszarze przetwarzania i integracji danych.
• Doświadczenie z Azure Databricks.
• Praktyczna znajomość Microsoft Fabric.
• Doświadczenie z Azure Data Factory.
• Znajomość Azure Functions.
• Doświadczenie z Azure DevOps, w szczególności w zakresie CI/CD.
• Dobra znajomość zagadnień związanych z Data Modelling.
• Znajomość koncepcji i praktyczne doświadczenie z Infrastructure as Code.
• Doświadczenie w projektowaniu, optymalizacji i monitorowaniu pipeline’ów danych.

Celem projektu jest budowa i rozwój nowoczesnej, skalowalnej platformy danych w ekosystemie Microsoft Azure, umożliwiającej efektywną integrację, transformację i przetwarzanie rosnących ilości danych.

Projekt koncentruje się na automatyzacji procesów data engineeringowych, zapewnieniu wysokiej jakości i dostępności danych oraz budowie niezawodnych i wydajnych pipeline’ów danych z wykorzystaniem Microsoft Fabric, Azure Databricks, Azure Data Factory, Python i SQL.

,(Projektowanie, rozwój i utrzymanie skalowalnych pipeline’ów danych oraz procesów integracyjnych., Implementacja procesów ETL/ELT z wykorzystaniem Microsoft Fabric, Azure Databricks, Python i SQL., Praca nad złożonymi scenariuszami ekstrakcji, transformacji i ładowania danych., Integracja danych z różnych źródeł oraz zapewnienie ich jakości, spójności i dostępności., Projektowanie i rozwój modeli danych., Współpraca ze stakeholderami oraz zespołami Agile w celu analizy i realizacji wymagań dotyczących danych., Monitorowanie wydajności procesów i infrastruktury oraz identyfikowanie i eliminowanie wąskich gardeł., Implementacja mechanizmów zapewniających data quality, accuracy i reliability., Automatyzacja procesów związanych z przetwarzaniem i integracją danych., Rozwój i utrzymanie procesów CI/CD w Azure DevOps., Wykorzystywanie podejścia Infrastructure as Code., Tworzenie i utrzymywanie dokumentacji technicznej.) Requirements: Microsoft Fabric, Azure Data Factory, Python, SQL, Data Engineer, Azure Functions, Azure DevOps, CI/CD, Data Modelling, Infrastructure as Code