Data Engineer

Щонайменше 2-4 роки досвіду консалтингу або надання клієнтських послуг на платформі Azure.

Щонайменше 2 роки досвіду у розробці витягу даних, обробки даних та аналітичних конвейєрів для великих даних, реляційних баз даних, таких як MySQL, та рішень для сховищ даних, як Snowflake.

Значний досвід надання практичних напряму у межах Azure Native services та Hadoop.

Значний досвід практичної реалізації витягу даних, ETL та обробки даних за допомогою сервісів Azure: ADLS, Azure Data Factory, Azure Functions, Synapse/DW, Azure SQL DB, Event Hub, IoT Hub, Azure Stream Analytics, Azure Analysis Service, HDInsight, Databricks, Azure Data Catalog, Cosmos DB тощо.

Мінімум 3 роки практичного досвіду роботи з Azure та технологіями Big Data, такими як Python, SQL, ADLS/Blob, Spark/SparkSQL, Databricks, Hive, та потоковими технологіями на зразок Kafka, EventHub, NiFi тощо.

Володіння розробкою PySpark на Databricks.

Володіння DevSecOps та CI/CD розгортаннями.

Досвід у методологіях і процесах міграції до хмари, включаючи інструменти типу Azure Data Factory, Data Migration Service, Event Hub, Kafka тощо.

Мінімум 2 роки досвіду роботи з RDBMS.

Досвід використання форматів файлів Big Data та технік стиснення.

Досвід використання інструментів розробника, таких як Azure DevOps, Visual Studio Team Server, Git, Jenkins тощо.

Досвід роботи з архітектурами приватних та публічних хмар, знання їх переваг і недоліків, а також розгляду при міграції.

Бакалаврська або вища ступінь у сфері комп'ютерних наук або пов'язаної дисципліни, або еквівалент (мінімум 2 роки досвіду роботи). Якщо ступінь молодого спеціаліста, потрібно мати еквівалентний мінімум 2 роки досвіду роботи.

Azure Data Engineer відповідає за проектування, побудову та підтримку інфраструктури даних організації за допомогою служб Azure cloud. Це включає створення конвейєрів даних, інтеграцію даних з різних джерел та реалізацію заходів безпеки і конфіденційності даних. Azure Data Engineer також відповідатиме за моніторинг і усунення несправностей потоків даних та оптимізацію зберігання і обробки даних для підвищення ефективності та зниження витрат.

DevOps на платформі Azure.

Досвід розробки та розгортання рішень ETL на платформі Azure.

Досвід роботи з IoT, подійно-орієнтованими архітектурами, мікросервісами, Контейнерами/Kubernetes у хмарі.

Знання технологічного стека, доступного у галузі для управління метаданими: Управління даними, Якість даних, MDM, Генезис, Каталог даних тощо.

Знання технологічного стека, доступного у галузі для управління даними, витягу даних, обробки та їхньої курирування: Kafka, StreamSets, Attunity, GoldenGate, MapReduce, Hadoop, Hive, HBase, Cassandra, Spark, Flume, Hive, Impala тощо.

Досвід роботи у мультихмарному середовищі є плюсом - Azure, AWS, Google.

Подати заявку зараз, щоб приєднатися до нашої динамічної команди в KPMG India та досягти успіху у ролі Azure Data Engineer.