Senior Software Engineer (Azure databricks)

Должность: Ведущий инженер-программист (Azure Databricks)

Компания: Emids

Требуемый опыт работы: от 4 до 8 лет

Местоположение: Бангалор

Обязанности:

Проектирование и разработка пайплайнов данных: В роли ведущего инженера-программиста вы будете сотрудничать с аналитиками данных, аналитиками и другими заинтересованными сторонами для проектирования, разработки и внедрения эффективных пайплайнов данных. Ваша роль будет включать интеграцию различных источников данных для преобразования сырых данных в форматы, пригодные для действий, поддерживая цели нашей компании, основанные на данных.

Управление облачной платформой данных: Используйте свой опыт работы с облачными платформами, особенно с Azure, для архитектуры, развертывания и поддержания масштабируемых и надежных инфраструктур данных.

Экспертиза Databricks: Продемонстрируйте глубокое понимание Databricks, используя его в качестве основной платформы для обработки больших данных, аналитики и инициатив машинного обучения.

Процессы ETL: Реализуйте надежные процессы извлечения, трансформации и загрузки (ETL), чтобы управлять данными из разнообразных источников, гарантируя их преобразование в подходящие форматы перед загрузкой в наши аналитические системы или хранилище данных.

Безопасность данных и соответствие нормативным требованиям: Обеспечьте высочайший уровень безопасности данных и соответствие соответствующим нормам о защите данных в наших процессах инженерии данных.

Сотрудничество и техническая поддержка: Тесно работайте с межфункциональными командами, включая аналитиков данных и бизнес-аналитиков, чтобы глубоко понимать требования к данным, делиться знаниями и предоставлять необходимую техническую поддержку.

Устранение неполадок и решение проблем: Проактивно идентифицируйте и устраняйте проблемы, связанные с данными, чтобы обеспечить бесперебойную работу данных. Ваши быстрые навыки решения проблем будут ключевыми для поддержания операционного совершенства.

Документация: Ведите подробную документацию пайплайнов данных, архитектуры и процессов. Это поможет обеспечить ясность и легкость понимания для членов команды и будет способствовать продолжающимся и будущим инициативам