DataOps - La redoute Porto

Основные обязанности

Реагирование на инциденты

• Понимание проблем с точки зрения пользователя и четкая коммуникация для понимания проблемы.
• Воспроизведение ошибок или проблем, с которыми сталкиваются пользователи.
• Проведение анализа первопричин для быстрого и эффективного нахождения корня проблемы, ее исправления, тестирования и коммуникации с конечным пользователем.
• Написание постмортемов, суммирующих каждый шаг разрешения проблемы и помогающих команде отслеживать все проблемы.
• Мониторинг существующих потоков и инфраструктуры и выполнение тех же задач при выявлении ошибок/проблем через мониторинг и оповещение.

Техническое обслуживание

• Мониторинг потоков и инфраструктуры для выявления потенциальных проблем.
• Адаптация конфигураций для поддержания работы потоков и инфраструктуры в ожидаемом режиме, обеспечивая беспрерывную работу без инцидентов.

Оптимизация баз данных

• Отслеживание затрат и времени обработки с помощью специальных панелей.
• Оповещение людей, которые неэффективно запрашивают таблицы, что приводит к высоким затратам.
• Выявление и решение неэффективных задач, представлений и таблиц, обеспечивая оптимальные затраты и скорость выполнения.
• Оптимизация задач, запросов и таблиц для улучшения как затрат, так и скорости выполнения.

Управление инфраструктурой

• Управление инфраструктурой с использованием Terraform.
• Обмен и предложение лучших практик.
• Вывод из эксплуатации ненужных инфраструктур, таких как сервисы, таблицы или виртуальные машины.

Развертывание

• Отслеживание будущих развертываний с архитектуром данных и участие в обзорах развертываний.
• Обмен и предложение лучших практик для развертывания.
• Поддержка инженеров данных на протяжении всего процесса развертывания и последующих фаз активного мониторинга.
• Обеспечение добросовестного применения процессов развертывания, стратегий логирования и мониторинга.
• Приемка новых развернутых потоков в процессе эксплуатации.

Требуемые твердые навыки

• Google Cloud Platform: Общее знание платформы и различных сервисов, не менее одного года опыта работы с GCP.
• Apache Airflow: Не менее двух лет опыта работы с оркестратором Airflow; опыт работы с Google Composer является плюсом.
• Google BigQuery: Обширный опыт (не менее 4 лет) работы с GBQ, включая оптимизацию таблиц и запросов, а также проектирование архитектуры баз данных.
• Terraform: Не менее двух лет опыта работы с Terraform и знание лучших практик GitOps.
• Apache Spark: Это дополнительная экспертиза, которую мы ценим; некоторые из наших конвейеров используют pySpark.

Дополнительные знания и опыт (считаются плюсом)

• Pub/Sub
• Kafka
• Azure Analysis Services
• Оптимизация Google Cloud Storage

Подайте заявку сейчас, чтобы присоединиться к Alter Solutions в качестве специалиста DataOps в La Redoute Porto. Оптимизируйте и управляйте нашей передовой инфраструктурой!