Sr Big Data Engineer (GCP)- Airflow and Oozie

À propos du rôle :

Nous sommes à la recherche d'un Ingénieur Senior en Big Data compétent pour renforcer notre équipe dynamique chez Rackspace Technology. Le candidat doit avoir une expertise approfondie dans le développement et l'optimisation de systèmes de traitement par lots et une excellente maîtrise des technologies du cloud public, en particulier la Plateforme Google Cloud (GCP). Notre candidat idéal s'épanouit dans un environnement à distance, fait preuve d'excellentes compétences en communication et est capable de résoudre des défis complexes de manière indépendante avec des solutions innovantes.

- Développer un code de haute qualité, évolutif et robuste pour des systèmes de traitement par lots en utilisant des outils comme Hadoop, Oozie, Pig, Hive, Map Reduce, Spark (Java) et Python.

- Concevoir, gérer et optimiser les flux de données en utilisant Oozie et Airflow au sein de l'écosystème Apache Hadoop.

- Utiliser GCP pour des solutions de traitement et de stockage de grandes données efficaces.

- Mettre en œuvre les meilleures pratiques d'automatisation/DevOps telles que l'Intégration Continue/Déploiement Continu (CI/CD) et l'Infrastructure en tant que Code (IaC).

- Expérience approfondie avec les services gérés par GCP et une compréhension des systèmes de traitement par lots basés sur le cloud.

- Compétences avancées en programmation en Java (spécifiquement Spark), Python, Pig et SQL.

- Connaissance experte des services cloud publics, avec un focus sur GCP, et familiarité avec BigTable et Redis.

- Maîtrise de l'écosystème Apache Hadoop incluant Oozie, Pig, Hive et Map Reduce.

- Expérience avec les principes et les outils DevOps pour l'intégration et le déploiement continu (CI/CD), et l'Infrastructure en tant que Code (IaC) comme Terraform.

- Excellentes compétences en résolution de problèmes avec la capacité de penser de manière critique et d'offrir des solutions innovantes.

- Capacité prouvée à travailler efficacement dans un cadre à distance avec de solides compétences en communication écrite et verbale.

- Expérience extensive dans l'ingénierie de systèmes de traitement par lots à grande échelle.

- Certification d'ingénieur associé Google Cloud ou autre certification professionnelle de niveau supérieur Google Cloud.

- Au moins 10 ans d'expérience dans des rôles logiciels/technologiques en contact avec la clientèle ou en conseil.

- Minimum 5 ans d'expérience avec les migrations "on-premises to cloud" ou les transformations IT.

- Plus de 5 ans de construction et d'opération de solutions sur GCP, AWS ou Azure.

- Un diplôme technique en Informatique, Ingénierie logicielle, ou dans un domaine connexe.

En tant qu'experts des solutions multicloud, nous combinons notre expertise avec les technologies les plus avancées du monde dans les domaines des applications, des données et de la sécurité pour offrir des solutions complètes. Nous sommes reconnus pour conseiller les clients en fonction de leurs défis commerciaux, concevoir des solutions évolutives et optimiser les retours dans le futur. Régulièrement nommé comme l'un des meilleurs lieux de travail par Fortune, Forbes et Glassdoor, nous attirons et développons les talents de premier ordre. Rejoignez notre mission pour embrasser la technologie, autonomiser les clients et délivrer l'avenir.

Nous croyons en l'inclusivité et nous nous engageons à fournir des opportunités d'emploi égales. Nous respectons et recherchons la diversité d'expérience, de perspectives et de capacités parmi les membres de notre équipe dans le monde entier. Si vous nécessitez des aménagements ou avez des besoins spéciaux, veuillez nous en informer pendant le processus de candidature.