Data Engineer with Microsoft Azure (f/m/x)
Description
Dołącz do Centrum Kompetencyjnego Data & Analytics i twórz rozwiązania, które pomagają organizacjom skutecznie wykorzystywać potencjał danych. Będziesz pracować przy projektach opartych na technologiach Microsoft Azure, wykorzystujących . Azure Databricks, Data Factory, Synapse czy Fabric. To także przestrzeń do wymiany wiedzy i poszerzania kompetencji w obszarach Data Science, Big Data i Machine Learning.
Twoje zadania
Projektowanie, budowanie i rozwijanie skalowalnych oraz wysokowydajnych platform przetwarzania danych w architekturze Data Lake / Data Platform
Tworzenie oraz utrzymanie pipeline’ów ETL/ELT do integracji danych z różnych źródeł oraz ich przetwarzania w środowisku Azure Databricks
Modelowanie danych oraz przygotowywanie struktur danych dostosowanych do potrzeb analitycznych i biznesowych
Implementacja rozwiązań do przetwarzania danych (batch i/lub near real-time)
Monitorowanie, optymalizacja i rozwój istniejących pipeline’ów oraz procesów przetwarzania danych
Współpraca z analitykami danych, zespołami BI oraz Data Science w zakresie przygotowania i udostępniania danych
Zbieranie wymagań biznesowych oraz proponowanie optymalnych rozwiązań technologicznych
Tworzenie i utrzymywanie dokumentacji technicznej dla rozwijanych rozwiązań
Wsparcie oraz mentoring mniej doświadczonych członków zespołu, dzielenie się wiedzą i najlepszymi praktykami
Wymagania
Minimum 4 lata doświadczenia w projektach związanych z przetwarzaniem i integracją dużych wolumenów danych
Bardzo dobra znajomość SQL oraz Python
Doświadczenie w pracy z frameworkami do przetwarzania danych takimi jak Apache Spark / PySpark
Praktyczne doświadczenie w projektowaniu i budowie rozwiązań Data Lake oraz Data Warehouse
Umiejętność budowania i utrzymywania pipeline’ów ETL/ELT oraz pracy z narzędziami do orkiestracji i integracji danych
Komercyjne doświadczenie w projektach opartych na rozwiązaniach chmurowych Microsoft Azure w obszarze przetwarzania danych (np. Databricks, Azure Data Factory, Synapse, Fabric)
Znajomość koncepcji przetwarzania danych w środowisku rozproszonym oraz optymalizacji pipeline’ów danych
Umiejętność swobodnej komunikacji w języku angielskim
Wymagana płynna znajomość języka polskiego
Wymagane przebywanie na terenie Polski
Mile widziane
Doświadczenie w projektach związanych z migracją danych z on-premise do chmury (bazy danych: Oracle, PostgreSQL, MS SQL)