Mid Data Engineer

Projekt data engineeringowy na 3–6 miesięcy, w którym głównym zadaniem będzie rozwijanie, utrzymanie i optymalizacja pipeline'ów danych w PySpark oraz praca z Databricks przy przetwarzaniu dużych zbiorów. Będziesz integrować dane z różnych źródeł, optymalizować zapytania SQL, wdrażać kontrole jakości danych i rozwiązywać problemy wydajnościowe. To oferta dla samodzielnego inżyniera danych na poziomie mid, dla którego PySpark jest kluczową kompetencją, a Databricks to obszar do dalszego rozwoju.

Wymagania

• mocne, praktyczne doświadczenie z PySpark (kluczowe wymaganie)
• komercyjne doświadczenie w Data Engineering na poziomie mid
• bardzo dobra znajomość SQL i technik transformacji danych
• praktyczne rozumienie Apache Spark i przetwarzania rozproszonego
• podstawowe praktyczne doświadczenie z Databricks
• doświadczenie w budowie i utrzymaniu pipeline'ów ETL/ELT
• znajomość środowisk chmurowych (Azure, AWS lub GCP)