Sr Data Engineer

KPMG India - Oferta pracy dla starszego inżyniera danych

Szukamy wysoko wykwalifikowanego starszego inżyniera danych z doświadczeniem w Azure, który dołączy do naszego zespołu. Idealny kandydat musi posiadać następujące umiejętności:

• Co najmniej 7 lat doświadczenia w konsultingu lub świadczeniu usług dla klientów na Azure.
• Minimum 4 lata doświadczenia w rozwijaniu procesów pozyskiwania, przetwarzania danych oraz tworzenia analitycznych pipeline'ów dla big data, MySQL i Snowflake.
• Obszerne doświadczenie z usługami natywnymi Azure oraz Hadoop.
• Praktyczne doświadczenie we wdrażaniu procesów pozyskiwania danych, ETL i przetwarzania danych z wykorzystaniem usług Azure takich jak ADLS, Azure Data Factory, Azure Functions, Synapse/DW, Azure SQL DB, Event Hub, IOT Hub, Azure Stream Analytics, Azure Analysis Service, HDInsight, Databricks, Azure Data Catalog oraz Cosmo DB, między innymi.
• Co najmniej 3 lata doświadczenia z technologiami Azure i Big Data, takimi jak Python, SQL, ADLS/Blob, Spark/SparkSQL, Databricks, Hive, Kafka, EventHub i NiFi.
• Biegłość w rozwoju przy użyciu Pyspark na Databricks.
• Silne zrozumienie DevSecOps i wdrożeń CI/CD.
• Znajomość metodologii migracji do chmury oraz narzędzi takich jak Azure Data Factory, Data Migration Service, Event Hub, Kafka.
• Minimum 3 lata doświadczenia w pracy z RDBMS.
• Doświadczenie z formatami plików Big Data oraz technikami kompresji.
• Biegłość w narzędziach developerskich takich jak Azure DevOps, Visual Studio Team Server, Git i Jenkins.
• Doświadczenie w architekturze chmur prywatnych i publicznych, w tym plusy/minusy oraz rozważania migracyjne.
• Dyplom licencjata lub wyższy z informatyki lub pokrewnej dziedziny (minimum 2 lata doświadczenia zawodowego) lub równoważne.

Jako starszy inżynier danych w KPMG India będziesz odpowiedzialny za:

• Projektowanie, budowanie i utrzymywanie infrastruktury danych za pomocą usług chmurowych Azure.
• Tworzenie pipeline'ów danych, integrowanie danych z różnych źródeł, implementowanie środków bezpieczeństwa i prywatności danych.
• Monitorowanie, rozwiązywanie problemów związanych z przepływem danych oraz optymalizowanie przechowywania i przetwarzania danych pod kątem wydajności i efektywności kosztowej.

Mimo że nie są one wymagane, następujące umiejętności są wysoce pożądane:

• Ekspertyza w dziedzinie DevOps na platformie Azure.
• Doświadczenie w rozwijaniu i wdrażaniu rozwiązań ETL na Azure.
• Znajomość IoT, podejścia sterowanego zdarzeniami, mikrousług oraz kontenerów/Kubernetes w chmurze.
• Znajomość technologii zarządzania metadanymi, takich jak zarządzanie danymi, jakość danych, MDM, pochodzenie danych oraz katalog danych.
• Znajomość stosu zarządzania danymi, pozyskiwania, przechwytywania, przetwarzania i kuracji, takich jak Kafka, StreamSets, Attunity, GoldenGate, Map Reduce, Hadoop, Hive, HBase, Cassandra, Spark, Flume, Hive i Impala.
• Doświadczenie w pracy z wieloma chmurami, w tym Azure, AWS i Google, będzie dodatkowym atutem.

Dołącz do KPMG India jako starszy inżynier danych i bądź częścią zespołu, który napęd