Sr Data Engineer

KPMG India - Пропозиція роботи для старшого інженера з даних

Обов'язкові навички

Ми шукаємо висококваліфікованого старшого інженера з даних з експертизою в Azure для приєднання до нашої команди. Ідеальний кандидат повинен володіти наступними навичками:

• Мінімум 7 років досвіду консалтингу або надання послуг клієнтам на платформі Azure.
• Мінімум 4 роки досвіду розробки технологій внесення даних, обробки даних та аналітичних конвеєрів для великих обсягів даних, MySQL та Snowflake.
• Великий досвід роботи з нативними сервісами Azure та Hadoop.
• Практичний досвід впровадження процесів внесення даних, ETL та обробки даних з використанням сервісів Azure, таких як ADLS, Azure Data Factory, Azure Functions, Synapse/DW, Azure SQL DB, Event Hub, IOT Hub, Azure Stream Analytics, Azure Analysis Service, HDInsight, Databricks, Azure Data Catalog та Cosmo DB та інші.
• Мінімум 3 роки досвіду роботи з Azure та технологіями великих даних, такими як Python, SQL, ADLS/Blob, Spark/SparkSQL, Databricks, Hive, Kafka, EventHub та NiFi.
• Добре володіння розробкою на Pyspark на Databricks.
• Сильне розуміння DevSecOps та CI/CD впроваджень.
• Знання методологій та інструментів міграції в хмару, таких як Azure Data Factory, Data Migration Service, Event Hub, Kafka.
• Мінімум 3 роки досвіду роботи з RDBMS.
• Досвід роботи з форматами файлів великих даних та техніками стиснення.
• Добре володіння розробницькими інструментами, такими як Azure DevOps, Visual Studio Team Server, Git та Jenkins.
• Досвід з архітектурами приватної та публічної хмари, включно з перевагами/недоліками та міркуваннями міграції.
• Ступінь бакалавра або вищу освіту в галузі комп'ютерних наук або суміжній дисципліні (мінімум 2 роки досвіду роботи) або еквівалентну.

Основні ролі та обов'язки

Як старший інженер з даних у KPMG India, ви будете відповідальні за:

• Проектування, побудову та підтримку інфраструктури даних з використанням хмарних сервісів Azure.
• Створення конвеєрів даних, інтеграцію даних з різних джерел і впровадження заходів безпеки даних та конфіденційності.
• Моніторинг, усунення несправностей даних потоків та оптимізацію зберігання та обробки даних для підвищення продуктивності та зниження витрат.

Бажані навички

Хоча не є обов'язковими, наступні навички є дуже бажаними:

• Експертиза в DevOps на платформі Azure.
• Досвід розробки та розгортання рішень ETL на Azure.
• Знання IoT, подійно-орієнтованих, мікросервісів та контейнерів/Kubernetes у хмарі.
• Знання технологій управління метаданими, таких як управління даними, якість даних, MDM, походження даних та каталог даних.
• Знання стеків управління даними, внесення,