Principal Developer - Data Integration Engineer - DevOps

Description de l'entreprise

Chez Western Digital, nous ne faisons pas que repousser les limites de la technologie ; nous établissons de nouvelles normes. Notre engagement envers l'innovation alimente les avancées mondiales, transformant l'impossible en réalité. En tant que résolveurs de problèmes, notre technologie a historiquement permis des réalisations monumentales, telles que l'atterrissage sur la lune. Aujourd'hui, nous jouons un rôle essentiel dans la conduite de la technologie derrière les plateformes de jeu, les villes intelligentes, les véhicules connectés, et les centres de données de certaines des plus grandes entreprises du monde.

Notre portefeuille robuste, comprenant des marques renommées telles que Western Digital®, G-Technology™, SanDisk®, et WD®, propose des solutions centrées sur les données de pointe pour les entreprises et les consommateurs. Que ce soit pour regarder des séries à la chaîne, faire du shopping en ligne, ou capturer des moments précieux sur une carte mémoire flash, Western Digital est l'épine dorsale invisible qui soutient ces expériences.

Embarquez dans un voyage avec nous chez Western Digital, où vos compétences uniques contribuent à un avenir plus brillant et plus intelligent. Ensemble, soyons la prochaine grande chose dans le domaine des données.

Description du poste

Développeur Principal - Ingénieur d'Intégration de Données - DevOps

Tâches et responsabilités essentielles :

• Développer et déployer des pipelines d'intégration de données évolutifs en utilisant des outils cloud de pointe alignés sur les principes de conception de Western Digital.
• Dépanner et améliorer la performance des pipelines existants en utilisant BASH, Python, Java.
• Créer des solutions de données robustes sur la plateforme AWS EMR en utilisant Java/Spark/Scala, orchestrées avec AirFlow.
• Optimiser la conception des tables de données pour un chargement rapide et des interrogations efficaces.
• Affiner les procédures SQL et déboguer les problèmes au sein des bases de données Postgres et Redshift.
• Mettre en œuvre des workflows CI/CD en utilisant des outils comme Bitbucket, Jenkins, Ansible, et plus encore.

Qualifications

Formation requise : Un diplôme de Bachelor en informatique ou en ingénierie est nécessaire. Préférence pour les candidats avec un Master ou une certification de développeur AWS. Des certifications supplémentaires dans les méthodologies de cycle de vie de développement de logiciels sont avantageuses.

Expérience requise : Au moins 8 ans dans l'intégration/ingénierie de données avec un historique prouvé d'utilisation d'outils ETL basés sur le cloud ou sur site. L'expérience dans la gestion et l'exécution de UDFs Java dans AWS EMR, et la familiarité avec les plateformes Unix/Linux sont attendues. La maîtrise de Transact SQL et du débogage de scripts, ainsi que l'expérience avec les bases de données Postgres et/ou Redshift, sont très appréciées. La connaissance des ensembles de données de fabrication de semi-conducteurs est bénéfique mais pas requise.

Détails sur la rémunération & les avantages

Western Digital offre un salaire compétitif et un paquet d'avantages, incluant mais ne se limitant pas à des incitations basées sur la performance à court terme et potentiellement à long terme, des avantages complets pour la santé, un plan 401(k), un plan d'achat d'actions pour les employés, et bien plus encore. Les détails spécifiques concernant le salaire et la gamme complète des avantages seront fournis à l'embauche et dépendront des qualifications, du lieu et des besoins de l'entreprise.

Informations supplémentaires