DataOps -

Описание работы

Основные обязанности

Ответ на инциденты:

• Понимать и эффективно решать пользовательские проблемы.
• Воспроизводить и диагностировать ошибки или проблемы, с которыми сталкиваются пользователи.
• Проводить анализ первопричин для быстрого решения проблем.
• Идентифицировать, исправлять, тестировать и сообщать о решении конечным пользователям.
• Документировать шаги решения и помогать команде отслеживать все проблемы с посмертными анализами.
• Мониторить текущие потоки и инфраструктуру, решая возникшие баги/проблемы с помощью мониторинга и предупреждений.

Обслуживание:

• Постоянно мониторить потоки и инфраструктуру на предмет потенциальных проблем.
• Обновлять конфигурации для поддержания бесперебойной работы.

Оптимизация базы данных:

• Использовать панели мониторинга для отслеживания затрат и времени обработки.
• Уведомлять пользователей о неэффективных методах запросов, которые увеличивают затраты.
• Идентифицировать и оптимизировать задания, представления и таблицы для повышения производительности и сокращения затрат.

Управление инфраструктурой:

• Управлять инфраструктурой с использованием Terraform.
• Предлагать и делиться лучшими практиками отрасли.
• Выводить из эксплуатации ненужную инфраструктуру, такую как избыточные службы, таблицы или виртуальные машины.

Развертывания:

• Координировать будущие развертывания с архитекторами данных и участвовать в обзорах развертывания.
• Продвигать и делиться лучшими практиками развертывания.
• Поддерживать инженеров данных на протяжении всего процесса развертывания и последующего активного мониторинга.
• Обеспечивать строгую приверженность протоколам развертывания, стратегиям журналирования и мониторинга.
• Интегрировать новые развернутые потоки в текущий процесс.

Требуемые твердые навыки:

• Google Cloud Platform: Комплексное понимание с опытом не менее одного года.
• Apache Airflow: Минимум два года опыта, знание Google Composer является преимуществом.
• Google BigQuery: Глубокий опыт не менее 4 лет, включая оптимизацию таблиц и запросов и проектирование архитектуры базы данных.
• Terraform: Два года опыта и знание лучших практик GitOps.
• Apache Spark: Экспертиза не обязательна, но приветствуется, некоторые потоки используют pySpark.

Дополнительные знания и опыт (предпочтительно, но не обязательно):

• Pub/Sub
• Kafka
• Azure Analysis Services
• Оптимизация хранилища Google Cloud

Информация о компании:

Название компании: Alter Solutions

Должность: DataOps Engineer