Data Manager

• Minimum 10-14 lat doświadczenia w konsultingu lub świadczeniu usług dla klientów na Azure.
• Udokumentowane doświadczenie jako Architekt Azure, projektowanie i dostarczanie rozwiązań architektonicznych opartych na wymaganiach klientów.
• Doświadczenie w konfigurowaniu środowisk Azure zgodnie z najlepszymi praktykami Microsoftu.
• Zdolność do zarządzania architekturą, definiowania standardów, wytycznych i najlepszych praktyk w trakcie faz wdrożeniowych.
• Śledzenie statusu projektu, przeglądanie artefaktów od członków zespołu i udzielanie wskazówek w przypadku jakichkolwiek odchyleń.
• Doświadczenie w mentoringu zespołów.
• Minimum 5 lat doświadczenia w rozwijaniu procesów zasilania danych, przetwarzania i analizy dla dużych zbiorów danych, baz relacyjnych jak MySQL oraz rozwiązań magazynowania danych typu Snowflake.
• Szeroka praktyczna znajomość usług natywnych Azure i Hadoop.
• Praktyczne doświadczenie w implementacji zasilania danych, ETL i przetwarzania przy użyciu usług Azure (ADLS, Azure Data Factory, Azure Functions, Synapse/DW, Azure SQL DB, Event Hub, IOT Hub, Azure Stream Analytics, Azure Analysis Service, HDInsight, Databricks, Azure Data Catalog, Cosmo DB).
• Minimum 3 lata praktycznego doświadczenia z technologiami Azure i Big Data takimi jak Python, SQL, ADLS/Blob, Spark/SparkSQL, Databricks, Hive oraz technologie strumieniowe jak Kafka, EventHub, NiFi.
• Biegłość w rozwoju aplikacji Pyspark na Databricks.
• Doświadczenie w DevSecOps i wdrożeniach CI/CD.
• Zrozumienie metodologii migracji do chmury i narzędzi takich jak Azure Data Factory, Data Migration Service, Event Hub, Kafka.
• Minimum 3 lata doświadczenia w RDBMS.
• Doświadczenie w korzystaniu z formatów plików Big Data i technik kompresji.
• Biegłość w narzędziach deweloperskich takich jak Azure DevOps, Visual Studio Team Server, Git, Jenkins.
• Doświadczenie z architekturami prywatnej i publicznej chmury, w tym zalety i wady oraz rozważania dotyczące migracji.
• Tytuł licencjata lub wyższy w dziedzinie nauk komputerowych lub pokrewnej dyscypliny; lub równoważne (minimum 2 lata doświadczenia zawodowego). W przypadku tytułu Associate's Degree wymagane jest równoważne minimum 2 lata doświadczenia zawodowego.

Jako Azure Data Engineer, będziesz odpowiedzialny za projektowanie, budowanie i utrzymywanie infrastruktury danych dla naszej organizacji przy użyciu usług chmury Azure. Obowiązki obejmują:

• Tworzenie potoków danych i integrowanie danych z różnych źródeł.
• Implementację środków bezpieczeństwa i prywatności danych.
• Monitorowanie i rozwiązywanie problemów z przepływami danych.
• Optymalizację przechowywania i przetwarzania danych pod kątem wydajności i efektywności kosztowej.

• DevOps na platformie Azure.
• Doświadczenie w rozwijaniu i wdrażaniu rozwiązań ETL na Azure.
• Wiedza na temat IoT, architektur zdarzeniowych, mikrousług oraz kontenerów/Kubernetes w chmurze.
• Znajomość technologii zarządzania metadanymi (Data Governance, Data Quality, MDM, Lineage, Data Catalog, itp.).
• Znajomość stosu technologii zarządzania danymi (Kafka