Data Engineer

• migracja platformy danych z Cloudera (on-premise) do architektury opartej na Google Cloud Platform (GCP) oraz wdrożenie nowych rozwiązań Data/AI w chmurze,
• opracowanie strategii i ścieżki migracji, w tym podejścia oraz rekomendacji technicznych,
• przeniesienie i modernizację istniejących procesów z wykorzystaniem usług GCP,
• projektowanie i implementację rozwiązań Data/AI z wykorzystaniem Dataproc, Dataflow, BigQuery, Cloud Composer oraz narzędzi automatyzacji,
• lokalizacja projektu: Katowice,
• budżet projektu: do 200 PLN/h + VAT, w zależności od doświadczenia oraz zakresu świadczonych usług.

Kogo poszukujemy?

• doświadczenie w realizacji projektów migracyjnych z on-premise do środowisk chmurowych, mile widziane doświadczenie z platformą Cloudera lub innymi rozwiązaniami opartymi na Hadoop,
• bardzo dobra znajomość języka Python, w szczególności w obszarze ETL, budowy pipeline’ów danych oraz automatyzacji,
• bardzo dobra znajomość języka Java,
• umiejętność projektowania i architektowania rozwiązań danych w GCP z uwzględnieniem skalowalności, bezpieczeństwa oraz optymalizacji kosztów,
• praktyczna znajomość narzędzi do orkiestracji, CI/CD oraz automatyzacji, takich jak Airflow, Git, Terraform lub rozwiązania równoważne,
• bardzo dobra znajomość języka angielskiego na poziomie C1, umożliwiająca codzienną komunikację, prowadzenie warsztatów technicznych oraz przygotowywanie dokumentacji projektowej,
• doświadczenie w analizie istniejących rozwiązań legacy oraz rekomendowaniu docelowych architektur w środowiskach chmurowych,
• znajomość zagadnień związanych z data governance, bezpieczeństwem danych oraz kontrolą dostępu w środowiskach chmurowych.