Data Engineer (K/M/N)

Wynagrodzenie
B2B: 120 – 130 PLN / godz. netto

O projekcie

Wsparcie zespołu projektowego i utrzymaniowego przy budowie, rozwoju oraz utrzymaniu platformy Customer Data Platform (CDP) opartej o architekturę Data Lakehouse w środowisku Google Cloud Platform (GCP).

Twój zakres obowiązków

• Rozwój oraz utrzymanie platformy CDP w architekturze Data Lakehouse.

• Projektowanie i rozwój procesów przetwarzania danych.

• Implementacja i optymalizacja procesów ETL/ELT.

• Budowa oraz utrzymanie pipeline'ów danych w środowisku GCP.

• Rozwój rozwiązań opartych o BigQuery.

• Współpraca z zespołami projektowymi oraz technicznymi.

• Monitorowanie i utrzymanie procesów przetwarzania danych.

• Udział w rozwoju architektury danych oraz zapewnianiu jakości danych.

Nasze wymagania

• Udział w kilku projektach budowy rozwiązań chmurowych w roli Data Engineer.

• Bardzo dobre umiejętności komunikacyjne i organizacyjne.

• Umiejętność efektywnej współpracy z zespołami IT oraz Project Managerami technicznymi.

• Znajomość języka angielskiego umożliwiająca pracę w środowisku międzynarodowym.

• Praktyczna znajomość Google Cloud Platform (GCP) w obszarze Data & Analytics.

• Doświadczenie z BigQuery.

• Doświadczenie z Cloud Storage.

• Doświadczenie z Cloud Dataflow (Apache Beam).

• Doświadczenie z Cloud Composer (Apache Airflow).

• Znajomość Datastream.

• Znajomość Dataplex.

• Doświadczenie z Pub/Sub.

• Doświadczenie z Dataform.

• Bardzo dobra znajomość Python.

• Znajomość bibliotek do przetwarzania danych (. Pandas).

• Bardzo dobra znajomość SQL (ANSI SQL oraz BigQuery SQL).

• Znajomość MySQL.

• Znajomość PostgreSQL.

• Znajomość MS SQL Server.

• Doświadczenie z architekturą Medallion (Bronze / Silver / Gold).

• Znajomość procesów ETL/ELT.

• Znajomość zagadnień Data Governance.

• Doświadczenie w projektowaniu i implementacji mechanizmów deduplikacji danych.

• Znajomość zagadnień wersjonowania danych.

• Praktyczna znajomość Git.

• Znajomość procesów CI/CD.

• Doświadczenie z Cloud Monitoring oraz Cloud Logging.