Mid Google Cloud Data Engineer

ITELENCE to szybko rozwijająca się firma wspierająca swoich międzynarodowych klientów w ich biznesowej i cyfrowej transformacji. Rozumiemy, że ludzie są naszym największym kapitałem, a kultura wzajemnego wsparcia, motywacji i rozwoju jest dla nas bardzo ważna. Chcemy tworzyć środowisko, w którym każdy może rozwijać swoje kompetencje, zdobywać nowe doświadczenia i realizować ambitne projekty.

Dla naszego Klienta poszukujemy osoby na stanowisko:

Forma współpracy: B2B

Tryb pracy: 100% zdalnie

Zaangażowanie: Full-time

Projekt: długoterminowy projekt

Stawka: 130-160 zł netto za godz.

Zakres obowiązków:

• Projektowanie, rozwój i utrzymywanie skalowalnych pipeline'ów danych w środowisku Google Cloud Platform.
• Budowanie i rozwój procesów ETL/ELT z wykorzystaniem Python oraz SQL.
• Praca z BigQuery, w tym rozwiązaniami związanymi z przetwarzaniem danych w czasie rzeczywistym.
• Projektowanie i implementacja rozwiązań do przetwarzania danych w modelu streaming oraz event-driven.
• Budowanie pipeline'ów z wykorzystaniem Pub/Sub, Dataflow / Apache Beam, Kafka / Confluent oraz Eventarc.
• Projektowanie i utrzymywanie procesów orkiestracji z wykorzystaniem Apache Airflow / Cloud Composer.
• Rozwijanie procesów transformacji danych przy użyciu dbt oraz Dataform.
• Monitorowanie wydajności, jakości i niezawodności pipeline'ów danych oraz identyfikowanie obszarów do optymalizacji.
• Współpraca z zespołami Data Engineering, Analytics oraz innymi zespołami technicznymi przy projektowaniu i wdrażaniu rozwiązań danych.
• Dbanie o skalowalność, bezpieczeństwo i niezawodność rozwiązań działających w środowisku produkcyjnym.

Wymagania:

• Minimum 3 lata komercyjnego doświadczenia jako Data Engineer oraz praktyczne doświadczenie z Google Cloud Platform.
• Bardzo dobra znajomość Python oraz SQL.
• Praktyczne doświadczenie z BigQuery oraz innymi usługami GCP.
• Doświadczenie z Cloud Storage, Cloud Run, Cloud Workflows oraz Cloud Composer / Apache Airflow.
• Znajomość rozwiązań do przetwarzania danych w czasie rzeczywistym i architektur event-driven.
• Praktyczne doświadczenie z co najmniej częścią technologii: Pub/Sub, Dataflow / Apache Beam, Kafka / Confluent, Eventarc.
• Doświadczenie w budowaniu i utrzymywaniu skalowalnych pipeline'ów danych, również dla dużych wolumenów danych i wysokiej liczby zdarzeń.
• Znajomość narzędzi do transformacji i orkiestracji danych, w szczególności dbt, Dataform oraz Apache Airflow.
• Umiejętność pracy z produkcyjnymi środowiskami danych oraz rozwiązywania problemów związanych z wydajnością i niezawodnością pipeline'ów.
• Bardzo dobra znajomość języka angielskiego, umożliwiająca swobodną komunikację w międzynarodowym środowisku.

Mile widziane:

• Doświadczenie z systemami przetwarzającymi 1 000+ zdarzeń na sekundę.
• Doświadczenie w projektowaniu architektur real-time / near-real-time data processing.
• Znajomość Terraform lub innych narzędzi Infrastructure as Code.
• Doświadczenie z konteneryzacją, Docker oraz CI/CD.
• Znajomość zagadnień związanych z data governance, data quality oraz data security.
• Długoterminową współpracę z możliwością przedłużenia projektu.
• Pracę w 100% zdalną.
• Możliwość pracy przy nowoczesnym projekcie Data Engineering na Google Cloud Platform.
• Pracę z technologiami takimi jak BigQuery, Pub/Sub, Dataflow, Cloud Run, Composer, Airflow, dbt oraz Dataform.
• Możliwość rozwijania kompetencji w obszarze cloud, streaming oraz event-driven data processing.
• Wsparcie zespołu ITELENCE na każdym etapie współpracy.