Senior Data Engineer
Description
Model pracy: zdalnie
Stawka: 160 pln/h netto +VAT B2B
Wprowadzenie
Szukamy Senior Data Engineera z platformowym podejściem, który zaprojektuje i rozwinie skalowalne pipeline'y w Databricks z użyciem Pythona i PySpark. Ta rola łączy pracę nad przepływami danych z odpowiedzialnością za jakość, wydajność i skalowalność całego rozwiązania. Będziesz współpracować z biznesem i zespołami technicznymi przy dostarczaniu data products.
Responsibilities
Projektowanie, rozwój i optymalizacja skalowalnych pipeline'ów danych w Databricks
Integracja i transformacja danych z różnych źródeł
Rozwój i utrzymanie warstwy analitycznej oraz powiązanego ekosystemu
Współpraca z biznesem i zespołami technicznymi przy dostarczaniu data products
Dbanie o modularność, reużywalność, wydajność i jakość rozwiązań
Branie odpowiedzialności za jakość i skalowalność dostarczanych rozwiązań
Key Requirements
Minimum 3 lata doświadczenia w software lub data engineering
Praktyczna znajomość Pythona
Doświadczenie z Databricks i PySpark
Umiejętność projektowania skalowalnych i modułowych rozwiązań danych
Bardzo dobra znajomość języka angielskiego
Mile widziane doświadczenie na poziomie senior lub tech lead
Będzie dodatkowym atutem
Doświadczenie z Azure
Znajomość Medallion Architecture
Terraform i podejście Infrastructure as Code (IaC)
Doświadczenie z MLOps
Znajomość Kubernetes