Azure Databricks Engineer

Уровень опыта: 5-7 лет

Компания: PradeepIT Consulting Services Pvt Ltd

PradeepIT Consulting Services Pvt Ltd ищет талантливого и опытного Старшего Инженера по Данным для работы в нашей инновационной команде. Успешный кандидат должен обладать крепкими навыками в инженерии данных, включая экспертные знания в Azure Databricks, Pyspark, Архитектуре Медальон и Дата Лейк.

Обязанности:

• Проектировать, разрабатывать и оптимизировать дата-пайплайны с использованием Azure Databricks и Pyspark.
• Реализовать и поддерживать Архитектуру Медальон для упрощения рабочих процессов по обработке данных.
• Управлять и организовывать крупные наборы данных в Дата Лейк, обеспечивая качество и целостность данных.
• Писать сложные SQL-запросы для извлечения, преобразования и загрузки данных из различных источников.
• Сотрудничать с учеными данных, аналитиками и другими заинтересованными сторонами для понимания требований к данным и предоставления эффективных решений.
• Мониторить и устранять проблемы производительности дата-пайплайнов и решать возникающие вопросы.
• Оставаться в курсе последних достижений в области инженерии данных и предлагать инновационные решения для улучшения процессов работы с данными.

Требования:

• 5-7 лет практического опыта в области инженерии данных или смежной области.
• Экспертное владение Azure Databricks и Pyspark.
• Глубокое понимание Архитектуры Медальон и её реализации.
• Опыт работы с Дата Лейк и управления крупными наборами данных.
• Высокий уровень навыков в SQL с умением писать и оптимизировать сложные запросы.
• Знание сервисов Azure и облачных решений для работы с данными.
• Сильные навыки решения проблем и внимание к деталям.
• Отличные навыки коммуникации и сотрудничества.

Почему стоит присоединиться к нам?

В компании PradeepIT Consulting Services Pvt Ltd мы посвящаем себя использованию силы данных для внедрения инновационных решений. Если вы увлечены работой с крупными наборами данных и наслаждаетесь разработкой передовых решений, мы приглашаем вас подать заявку на эту захватывающую возможность.

Заинтересованные кандидаты, пожалуйста, представьте свою заявку с подробным резюме. Мы с нетерпением ждем нового члена нашей команды!