Sr Big Data Engineer Airflow and Oozie (GCP)

О роли:

Мы ищем высококвалифицированного и опытного Старшего Инженера по Большим Данным для присоединения к нашей динамичной команде в Rackspace Technology. Идеальный кандидат должен иметь сильный фон в разработке систем пакетной обработки, обширный опыт работы с Oozie, Airflow, и экосистемой Apache Hadoop, вместе с твердым пониманием технологий облачных вычислений, особенно Google Cloud Platform (GCP). Данная роль предусматривает гибкость с условиями удаленной работы, требуя отличных навыков коммуникации и способность независимо и творчески решать сложные проблемы.

• Разработка масштабируемого и надежного кода для систем пакетной обработки с использованием таких технологий, как Hadoop, Oozie, Pig, Hive, Map Reduce, Spark (Java), Python, Hbase.
• Управление и оптимизация рабочих процессов данных с помощью Oozie и Airflow в рамках экосистемы Apache Hadoop.
• Использование GCP для масштабируемых решений обработки и хранения больших данных.
• Внедрение автоматизации и лучших практик DevOps для CI/CD, IaC и др.

• Доказанный опыт работы с управляемыми сервисами GCP и понимание систем пакетной обработки на базе облака.
• Высокая квалификация в работе с Oozie, Airflow, Map Reduce, Java.
• Отличные навыки программирования с использованием Java (специально Spark), Python, Pig и SQL.
• Экспертные знания в области облачных сервисов, особенно GCP.
• Опыт работы с инфраструктурой и принципами Applied DevOps, использование инструментов вроде Terraform для CI/CD и IaC.
• Способность браться за сложные задачи и находить эффективные решения независимо.
• Эффективные коммуникативные навыки для удаленной работы.

• Сертификация Google Associate Cloud Engineer или другая профессиональная сертификация Google Cloud.
• Более 10 лет опыта в работе с программным обеспечением/технологиями напрямую с клиентами или в консалтинге.
• Более 5 лет опыта с миграциями «с локальных систем в облако» или трансформацией ИТ-систем.
• Более 5 лет опыта создания и управления решениями на GCP (желательно) или AWS/Azure.
• Техническое высшее образование в области информатики