Sr Big Data Engineer (GCP)- Airflow and Oozie

Про роль:

Ми шукаємо професійного Старшого Інженера по Великим Даним для підсилення нашої динамічної команди у Rackspace Technology. Кандидат повинен мати глибокі знання у розробці та оптимізації систем пакетної обробки даних та відмінне розуміння технологій хмарних сервісів, особливо Google Cloud Platform (GCP). Наш ідеальний кандидат відчуває себе вільно у віддаленому середовищі, має відмінні комунікативні навички та здатний самостійно розв'язувати складні задачі, пропонуючи інноваційні рішення.

- Розробляти якісний, масштабований і надійний код для систем пакетної обробки даних, використовуючи інструменти на зразок Hadoop, Oozie, Pig, Hive, Map Reduce, Spark (Java) та Python.

- Проектування, управління та оптимізація робочих процесів даних за допомогою Oozie та Airflow в екосистемі Apache Hadoop.

- Використання GCP для ефективної обробки та зберігання великих даних.

- Впровадження найкращих практик автоматизації/DevOps, таких як CI/CD та Infrastructure as Code (IaC).

- Глибокий досвід роботи з керованими сервісами GCP та розуміння хмарних систем пакетної обробки даних.

- Сильні навички програмування в Java (особливо Spark), Python, Pig і SQL.

- Експертні знання хмарних сервісів, з акцентом на GCP, та знання BigTable і Redis.

- Володіння екосистемою Apache Hadoop, включаючи Oozie, Pig, Hive і Map Reduce.

- Досвід роботи з принципами і інструментами DevOps для безперервної інтеграції і розгортання (CI/CD) та Infrastructure as Code (IaC), такими як Terraform.

- Відмінні навички вирішення проблем із здатністю критично мислити та пропонувати інноваційні рішення.

- Доведений досвід ефективної роботи в віддаленому середовищі з сильними письмовими та усними комунікативними навичками.

- Великий досвід в інженерії систем пакетної обробки даних масштабно.

- Сертифікація Google Associate Cloud Engineer або