Staff Site Reliability Engineer (Hadoop Platform, Hive, Spark, Python)

Intitulé du poste : Ingénieur fiabilité de site senior (Plateforme Hadoop, Hive, Spark, Python)

Description de l'entreprise

Visa est un leader mondial des paiements numériques, facilitant plus de 259 milliards de transactions annuellement à travers plus de 200 pays et territoires. Notre mission est de connecter le monde à travers le réseau de paiement le plus innovant, fiable et sécurisé, améliorant la capacité des individus, des entreprises et des économies à prospérer. Chez Visa, nous nous engageons à favoriser une économie numérique universelle qui élève tout le monde, partout. Rejoignez Visa et faites partie d'une équipe qui valorise l'innovation et le but. Découvrez ce que c'est que d'avoir un impact dans l'une des institutions financières les plus influentes du monde - La vie chez Visa vous attend.

Description du poste

Nous recherchons actuellement un Ingénieur fiabilité de site senior pour assurer un support et une maintenance complets sur la plateforme Hadoop et ses technologies associées, telles que Hive, SPARK et HDFS. Ce rôle englobe un éventail de responsabilités :

Responsabilités :

• Support Unique : Appliquez votre connaissance approfondie de Hadoop et des outils associés pour effectuer des analyses de causes racines des problèmes de configuration/code de la plateforme et des utilisateurs.
• Configuration du système : Recommandez des ajustements système aux équipes d'ingénierie de la plateforme DAP basés sur les journaux des utilisateurs et les activités du système.
• Optimisation des performances : Guidez les membres de l'équipe dans la rédaction de requêtes efficaces et appliquez des techniques d'optimisation et d'ajustement avancées pour les solutions de big data.
• Résolution de problèmes à travers les équipes techniques : Diagnostiquez et résolvez des défis techniques complexes, en coordonnant avec les équipes de plateformes technique/data appropriées pour les solutions.
• Ingénierie de fiabilité : Développez des rapports pour suivre les performances, les métriques de résolution et la détection proactive des problèmes.
• Heures de bureau et liaison : Gérez les appels à travers différents fuseaux horaires pour assurer une livraison en temps utile aux clients.
• Partage des connaissances et catalogage : Partagez vos connaissances et votre expertise avec vos pairs à travers des Wikis et d'autres canaux de communication, en vous concentrant sur les problèmes affectant plusieurs utilisateurs.
• Développer des normes : Créez des configurations standard pour diverses charges de travail VCA afin d'améliorer la santé du cluster et l'efficacité opérationnelle.

Ceci est un rôle hybride nécessitant une présence à distance et sur site, avec des attentes d'être au bureau 2-3 jours par semaine en fonction des besoins de l'entreprise.

Qualifications

Qualifications de base :

• 7+ années d'expérience professionnelle pertinente avec un diplôme de baccalauréat ou des diplômes avancés avec différents niveaux d'expérience.

Qualifications préférées :

• Expérience considérable dans le développement de pipelines de données utilisant PySpark, Hive et Airflow.
• Capacité prouvée à diagnostiquer et déboguer dans des environnements Hadoop.
• Expérience pratique de l'optimisation des performances sur les plateformes Hadoop et du développement Python.
• Familiarité avec l'architecture et les composants de l'écosystème Hadoop tels que Zookeeper, HDFS, Yarn, Hive et Spark.
• Expérience avec des outils