Sr Big Data Engineer Airflow and Oozie (GCP)

Про роль:

Ми шукаємо висококваліфікованого та досвідченого Старшого інженера з великих даних для приєднання до нашої динамічної команди в Rackspace Technology. Ідеальний кандидат матиме міцний досвід у розробці систем пакетної обробки, розширений досвід роботи з Oozie, Airflow та екосистемою Apache Hadoop, а також глибоке розуміння технологій публічної хмари, особливо Google Cloud Platform (GCP). Ця роль передбачає гнучкість роботи на віддаленій основі, вимагаючи відмінних комунікативних навичок та здатності самостійно та креативно вирішувати складні проблеми.

• Розробка масштабованого та надійного коду для систем пакетної обробки з використанням технологій, таких як Hadoop, Oozie, Pig, Hive, MapReduce, Spark (Java), Python, Hbase.
• Управління та оптимізація робочих процесів даних за допомогою Oozie і Airflow у межах екосистеми Apache Hadoop.
• Використання GCP для масштабованих рішень обробки та зберігання великих даних.
• Впровадження автоматизації та найкращих практик DevOps для CI/CD, IaC та багатьох інших.

• Доведений досвід роботи з керованими сервісами GCP та розуміння систем пакетної обробки на базі хмари.
• Висока професійність у Oozie, Airflow, MapReduce, Java.
• Відмінні навички програмування на Java (зокрема Spark), Python, Pig і SQL.
• Експертиза у сфері публічних хмарних сервісів, особливо у GCP.
• Досвід у сфері інфраструктури та застосування принципів DevOps, з використанням інструментів на кшталт Terraform для CI/CD та IaC.
• Здатність вирішувати складні виклики та вигадувати ефективні рішення незалежно.
• Ефективні комунікативні навички для роботи на віддаленій основі.

• Сертифікація Google Associate Cloud Engineer