Sr Big Data Engineer (GCP)- Airflow and Oozie

О роли:

Мы ищем искусного старшего инженера по большим данным, чтобы усилить нашу динамичную команду в Rackspace Technology. Кандидат должен обладать глубокими знаниями в разработке и оптимизации систем пакетной обработки и отличным пониманием технологий облачных вычислений, особенно Google Cloud Platform (GCP). Наш идеальный кандидат успешно работает в удаленном формате, проявляет выдающиеся коммуникативные навыки и способен самостоятельно решать сложные задачи с помощью инновационных решений.

- Разработка высококачественного, масштабируемого и надежного кода для систем пакетной обработки с использованием инструментов, таких как Hadoop, Oozie, Pig, Hive, Map Reduce, Spark (Java) и Python.

- Проектирование, управление и оптимизация рабочих процессов данных с использованием Oozie и Airflow в экосистеме Apache Hadoop.

- Использование GCP для эффективной обработки и хранения больших данных.

- Внедрение передовых практик автоматизации/DevOps, таких как CI/CD и Infrastructure as Code (IaC).

- Глубокие знания сервисов GCP и понимание систем пакетной обработки, базирующихся на облаке.

- Сильные навыки программирования на Java (в частности, Spark), Python, Pig и SQL.

- Экспертные знания публичных облачных сервисов с фокусом на GCP, знакомство с BigTable и Redis.

- Профессионализм в экосистеме Apache Hadoop, включая Oozie, Pig, Hive и Map Reduce.

- Опыт работы с принципами и инструментами DevOps для непрерывной интеграции и развертывания (CI/CD), а также Infrastructure as Code (IaC), например, Terraform.

- Отличные навыки решения проблем с возможностью критически мыслить и предлагать инновационные решения.

- Доказанный опыт эффективной работы в удаленной среде с сильными письменными и устными коммуникативными навыками.

- Обширный опыт в инженерии систем пакетной обработки в масштабе.

- Сертификация Google Associate Cloud Engineer или другая профессиональная сертификация Google Cloud.

- Как минимум 10 лет опыта работы в ролях, связанных с программным обеспечением/технологиями или консалтингом, направленными на клиента.

- Минимум 5 лет опыта с миграциями «с локальных систем в облако» или ИТ-трансформациями.

- Более 5 лет построения и эксплуатации решений на GCP, AWS или Azure.

- Высшее техническое образование в области информатики, программной инженерии или смежных дисциплин.

Как эксперты по му