DataOps - La redoute Porto

Основні обов'язки

Інцидент-реагування

• Розуміння проблем з користувацької перспективи та чітка комунікація для з'ясування суті проблеми.
• Відтворення помилок або проблем, з якими стикаються користувачі.
• Застосування аналізу першопричин для швидкого та ефективного виявлення джерела проблеми, її виправлення, тестування і спілкування з кінцевим користувачем.
• Написання постмортемів, які підсумовують кожен етап вирішення та допомагають команді відслідковувати всі проблеми.
• Моніторинг існуючих потоків та інфраструктури і виконання тих самих завдань при виявленні помилок/проблем через моніторинг та сповіщення.

Технічне обслуговування

• Моніторинг потоків та інфраструктури для виявлення потенційних проблем.
• Адаптація конфігурацій для підтримки роботи потоків та інфраструктури відповідно до очікувань без інцидентів.

Оптимізація баз даних

• Відслідковування витрат та часу обробки через спеціальні панелі.
• Сповіщення людей, які неефективно запитують таблиці, що спричиняє високі витрати.
• Виявлення та вирішення неефективних завдань, представлень та таблиць для забезпечення оптимальних витрат і швидкості виконання.
• Оптимізація завдань, запитів та таблиць для покращення як витрат, так і швидкості виконання.

Керування інфраструктурою

• Керування інфраструктурою з використанням Terraform.
• Обмін та пропозиція найкращих практик.
• Виведення з експлуатації непотрібних інфраструктур, таких як сервіси, таблиці або віртуальні машини.

Розгортання

• Відслідковування майбутніх розгортань з архітектором даних та участь у оглядах розгортання.
• Обмін та пропозиція найкращих практик для розгортання.
• Підтримка інженерів з даних протягом усього процесу розгортання та подальших активних моніторингових фаз.
• Забезпечення ретельного застосування процесів розгортання, ведення логів та стратегій моніторингу.
• Прийняття новостворених потоків у процесі роботи.

Необхідні навички

• Google Cloud Platform: Загальні знання платформи та різних сервісів, принаймні один рік досвіду з GCP.
• Apache Airflow: Щонайменше два роки досвіду роботи з оркестратором Airflow; досвід з Google Composer буде перевагою.
• Google BigQuery: Широкий досвід (не менше 4 років) з GBQ, включаючи оптимізацію таблиць і запитів та проєктування архітектури баз даних.
• Terraform: Щонайменше два роки досвіду роботи з Terraform і знання найкращих практик GitOps.
• Apache Spark: Це додаткова експертиза, яку ми цінуємо; деякі наші конвеєри використовують pySpark.

Додаткові знання та досвід (вважаються перевагою)

• Pub/Sub
• Kafka
• Azure Analysis Services
• Оптимізація