DataOps -

Job expired!

Можливість роботи для DataOps інженера в Alter Solutions

Опис роботи

Основні обов'язки

Відповідь на інциденти:

  • Ефективно розуміти та вирішувати проблеми користувачів.
  • Відтворювати та діагностувати помилки або проблеми, з якими стикаються користувачі.
  • Проводити аналіз першопричин для швидкого вирішення проблем.
  • Виявляти, виправляти, тестувати та повідомляти кінцевим користувачам про вирішення.
  • Документувати кроки вирішення і допомагати команді відстежувати всі проблеми за допомогою постмортемів.
  • Моніторити поточні потоки та інфраструктуру, вирішуючи баги або проблеми через моніторинг і сповіщення.

Обслуговування:

  • Постійно моніторити потоки та інфраструктуру на предмет потенційних проблем.
  • Оновлювати конфігурації для забезпечення безперебійної роботи.

Оптимізація баз даних:

  • Використовувати інформаційні панелі для відстеження витрат і часу обробки.
  • Попереджати користувачів про неефективні методи запитів, які збільшують витрати.
  • Виявляти та оптимізувати завдання, подання та таблиці для підвищення продуктивності та економічної ефективності.

Управління інфраструктурою:

  • Керувати інфраструктурою за допомогою Terraform.
  • Пропонувати і ділитися найкращими практиками галузі.
  • Виводити з експлуатації непотрібну інфраструктуру, таку як зайві сервіси, таблиці або віртуальні машини.

Впровадження:

  • Координувати майбутні впровадження з архітекторами даних та брати участь у їх переглядах.
  • Радити і ділитися найкращими практиками впровадження.
  • Підтримувати інженерів з даних протягом усього процесу впровадження та подальшого активного моніторингу.
  • Забезпечувати суворе дотримання протоколів впровадження, логування та стратегій моніторингу.
  • Інтегрувати нові впроваджені потоки в поточний процес.

Необхідні професійні навички

  • Google Cloud Platform: Обширне розуміння з принаймні річним досвідом.
  • Apache Airflow: Щонайменше два роки досвіду, знання Google Composer є перевагою.
  • Google BigQuery: Глибокий досвід не менше 4 років, включаючи оптимізацію таблиць та запитів, а також проектування архітектури баз даних.
  • Terraform: Два роки досвіду та знання найкращих практик GitOps.
  • Apache Spark: Експертиза не обов'язкова, але бажана, деякі конвеєри використовують pySpark.

Додаткові знання та досвід (бажані, але не обов'язкові)