Data Engineer

Обязательные навыки

Минимум 2-4 года опыта консалтинга или предоставления услуг клиентам на Azure.

Минимум 2 года опыта разработки процессов загрузки данных, обработки данных и аналитических конвейеров для больших данных, реляционных баз данных типа MySQL и решений для хранилищ данных, таких как Snowflake.

Большой опыт предоставления практических рекомендаций в рамках собственных услуг Azure и Hadoop.

Обширный практический опыт реализации загрузки данных, ETL и обработки данных с использованием сервисов Azure: ADLS, Azure Data Factory, Azure Functions, Synapse/DW, Azure SQL DB, Event Hub, IoT Hub, Azure Stream Analytics, Azure Analysis Service, HDInsight, Databricks, Azure Data Catalog, Cosmos DB и др.

Минимум 3 года практического опыта с технологиями Azure и Big Data, такими как Python, SQL, ADLS/Blob, Spark/SparkSQL, Databricks, Hive и стриминговые технологии типа Kafka, EventHub, NiFi и др.

Уверенное владение разработкой на PySpark в Databricks.

Профессиональные навыки в DevSecOps и CI/CD развертываниях.

Опыт в методологиях и процессах миграции в облако с использованием инструментов, таких как Azure Data Factory, Data Migration Service, Event Hub, Kafka и др.

Минимум 2 года опыта с RDBMS.

Опыт работы с форматами файлов для больших данных и техниками сжатия.

Опыт использования инструментов разработки, таких как Azure DevOps, Visual Studio Team Server, Git, Jenkins и др.

Опыт работы с частной и публичной архитектурами облаков, их плюсами/минусами и соображениями по миграции.

Бакалавр или высшая степень в области компьютерных наук или родственной дисциплины, либо эквивалент (минимум 2 года рабочего опыта). В случае получения младшего специалиста, необходимо иметь эквивалент минимум 2 года рабочего опыта.

Основные обязанности

Инженер данных Azure отвечает за проектирование, создание и поддержку инфраструктуры данных для организации с использованием облачных сервисов Azure. Это включает в себя создание конвейеров данных, интеграцию данных из различных источников и внедрение мер безопасности и конфиденциальности данных. Инженер данных Azure также отвечает за мониторинг и устранение неполадок потоков данных, а также оптимизацию хранения и обработки данных для повышения производительности и снижения затрат.

Предпочтительные навыки

DevOps на платформе Azure.

Опыт разработки и развертывания решений ETL на Azure.

Опыт работы с IoT, событийно-ориентированной архитектурой, микросервисами, контейнерами/Kubernetes в облаке.

Знание технологий для управления метаданными, таких как управление данными, качество данных, MDM, происхождение данных, каталог данных и др.

Знание технологий для управления данными, загрузки данных, захвата, обработки и курирования: Kafka, StreamSets, Attunity, GoldenGate, MapReduce, Hadoop, Hive, HBase, Cassandra, Spark, Flume, Hive, Impala и др.

Опыт работы с несколькими облачными платформами является плюсом - Azure, AWS, Google.

Подать заявку сейчас, чтобы присоединиться к нашей динамичной команде в KPMG India и развиваться в роли инженера данных Azure.