Azure Data Engineer - Manager

Должность: Менеджер по работе с данными Azure в KPMG India

KPMG India в настоящее время ищет опытного Менеджера по работе с данными Azure для присоединения к нашей динамичной команде. Если вы стремитесь развивать свою карьеру в быстром темпе, работая над передовыми технологическими решениями, это прекрасная возможность для вас!

Идеальный кандидат будет обладать:

• Степень бакалавра или выше в области компьютерных наук или смежной дисциплины; или эквивалентный профессиональный опыт (минимум 10+ лет).
• Не менее 7+ лет опыта в разработке процессов ингестирования данных, обработки данных и аналитических пайплайнов для больших данных, реляционных баз данных, таких как MySQL/SQL, и решений для хранилищ данных вроде Synapse/Snowflake.
• Доказанный опыт работы с Azure и технологиями Big Data, включая Java, Python, SQL, ADLS/Blob, Spark/SparkSQL, Databricks, Hive и технологии потоковой передачи, такие как Kafka, EventHub и NiFi.
• Обширный опыт в проектировании и реализации высокопроизводительных пайплайнов ингестирования данных с использованием Apache Spark и/или Azure Databricks.
• Твердые знания методологий и процессов миграции в облако, включая знакомство с Azure Data Factory, Data Migration Service и Kafka.

В качестве Менеджера по инжинирингу данных Azure, вы будете ответственны за:

• Проектирование, создание и поддержание инфраструктуры данных с использованием облачных сервисов Azure.
• Создание надежных пайплайнов данных и интеграция данных из различных источников.
• Реализация мер по обеспечению безопасности и конфиденциальности данных.
• Мониторинг, устранение неполадок и оптимизация хранения и обработки данных для улучшения производительности и экономической эффективности.

Кандидаты, обладающие следующими навыками, будут иметь преимущество:

• Опыт работы в среде Azure DevOps с инструментами, такими как Microsoft Visual Studio Team Services и Terraform.
• Прямой опыт создания пайплайнов данных с использованием Azure Data Factory и Apache Spark (предпочтительно Databricks).
• Владение MS SQL RDBMS и языком запросов SQL.
• Знания в области IoT, систем на основе событий, микросервисов и контейнеров/Kubernetes в облачной среде.
• Знакомство с технологическими стеками индустрии для управления метаданными и ингестирования данных, включая Kafka, StreamSets и GoldenGate.
• Опыт работы с несколькими облачными платформ