Data Engineer

Co najmniej 2-4 lata doświadczenia w doradztwie lub świadczeniu usług dla klientów na platformie Azure.

Co najmniej 2 lata doświadczenia w opracowywaniu przepływów danych, przetwarzaniu danych i analitycznych pipeline'ów dla big data, relacyjnych baz danych takich jak MySQL oraz rozwiązań data warehouse jak Snowflake.

Rozległe doświadczenie w praktycznym kierowaniu w ramach usług Azure Native i Hadoop.

Rozległe praktyczne doświadczenie we wdrażaniu przepływów danych, ETL i przetwarzaniu danych za pomocą usług Azure: ADLS, Azure Data Factory, Azure Functions, Synapse/DW, Azure SQL DB, Event Hub, IoT Hub, Azure Stream Analytics, Azure Analysis Service, HDInsight, Databricks, Azure Data Catalog, Cosmos DB, itp.

Minimum 3 lata praktycznego doświadczenia w technologiach Azure i Big Data, takich jak Python, SQL, ADLS/Blob, Spark/SparkSQL, Databricks, Hive i technologiach strumieniowych jak Kafka, EventHub, NiFi itp.

Biegłość w rozwoju PySpark na Databricks.

Biegłość w DevSecOps i wdrażaniu CI/CD.

Doświadczenie w metodologiach i procesach migracji do chmury, w tym narzędziach takich jak Azure Data Factory, Data Migration Service, Event Hub, Kafka itp.

Minimum 2 lata doświadczenia z RDBMS.

Doświadczenie w używaniu formatów plików Big Data i technik kompresji.

Doświadczenie w korzystaniu z narzędzi dla programistów takich jak Azure DevOps, Visual Studio Team Server, Git, Jenkins itp.

Doświadczenie w architekturach prywatnej i publicznej chmury, zaletach/wadach każdej z nich oraz rozważaniach dotyczących migracji.

Tytuł licencjata lub wyższy z Informatyki lub pokrewnej dziedziny, lub równoważne (minimum 2 lata doświadczenia zawodowego). Jeśli tytuł Associate’s Degree, musi mieć równoważne minimum 2 lata doświadczenia zawodowego.

Azure Data Engineer jest odpowiedzialny za projektowanie, budowanie i utrzymywanie infrastruktury danych dla organizacji z wykorzystaniem usług chmurowych Azure. Obejmuje to tworzenie pipeline'ów danych, integrację danych z różnych źródeł oraz wdrażanie środków ochrony danych i prywatności. Azure Data Engineer będzie również odpowiedzialny za monitorowanie i rozwiązywanie problemów z przepływami danych oraz optymalizację magazynowania i przetwarzania danych pod kątem wydajności i efektywności kosztowej.

DevOps na platformie Azure.

Doświadczenie w opracowywaniu i wdrażaniu rozwiązań ETL na platformie Azure.

Doświadczenie z IoT, architekturą opartej na zdarzeniach, mikroserwisami, kontenerami/Kubernetes w chmurze.

Zaznajomienie z dostępnym w branży stosie technologicznym do zarządzania metadanymi: zarządzanie danymi, jakość danych, MDM, linia rodowodowa, katalog danych itp.

Zaznajomienie z dostępnym w branży stosie technologicznym do zarządzania danymi, ich pobierania, przechwytywania, przetwarzania i kuracji: Kafka, StreamSets, Attunity, GoldenGate, MapReduce, Hadoop, Hive, HBase, Cassandra, Spark, Flume, Hive, Impala itp.

Doświadczenie w wielu chmurach jest dodatkowym atutem - Azure, AWS, Google.

Aplikuj teraz, aby dołączyć do naszego dynamicznego zespołu w KPMG India i rozwijać się na stanowisku Azure Data Engineer.