Ingénieur de Données Principal (Python, Spark)

West Creek 3 (12073), États-Unis d'Amérique, Richmond, Virginie

Ingénieur principal en données (Python, Spark)

Aimez-vous construire et innover dans l'espace technologique ? Appréciez-vous le fait de résoudre des problèmes d'affaires complexes dans un environnement de livraison rapide, collaboratif, inclusif et itératif ? Chez Capital One, vous ferez partie d'un grand groupe de créateurs, de casseurs, de faiseurs et de perturbateurs, qui résoudent de vrais problèmes et répondent aux véritables besoins des clients. Nous recherchons des Ingénieurs principaux en données qui sont passionnés par le mariage des données avec les technologies émergentes. En tant qu'ingénieur principal en données chez Capital One, vous aurez l'occasion d'être à l'avant-garde de la conduite d'une transformation majeure au sein de Capital One.

Ce que vous ferez

• Vous êtes propriétaire de la feuille de route technique et vous influencez les équipes en dirigeant les discussions techniques pour livrer des solutions de données significatives

• Votre impact dépasse le cadre de votre projet/équipe en établissant des relations et en plaidant pour les meilleures pratiques.

• Utilisez votre expertise technique pour guider les ingénieurs et veiller à ce que les pipelines de données, les modèles de données et le code soient efficaces et fiables.

• Concevez et développez des architectures de données évolutives et des systèmes qui extraient, stockent et traitent de grandes quantités de données.

• Développez et architectez des pipelines de données évolutifs et des processus ETL en utilisant des langages de programmation tels que Python, Java, Scala, et des frameworks comme Spark et Flink

• Collaborez avec des data scientists, des ingénieurs en apprentissage automatique, des analystes d'affaires et/ou des propriétaires de produits pour comprendre leurs exigences et fournir des solutions efficaces pour l'exploration, l'analyse et la modélisation des données.

• Construisez des solutions de données hautement disponibles et évolutives dans un environnement ambigu en partageant des modèles de conception avec les équipes.

• Automatisez les intégrations et les pipelines de données en utilisant la gouvernance des données et diverses techniques de test.

• Utilisez des technologies de pointe pour développer des pipelines de données modernes soutenant l'apprentissage machine et l'intelligence artificielle.

 

Information sur l'équipe :

La Finance Data Refinery Recon team de l'organisation Enterprise Data and Machine Learning (EDML) supporte l'application de traitement de données hébergée sur AWS qui fournit des rapprochements automatisés de jeux de données critiques pour l'organisation Finance Tech. Vous aurez des opportunités et une exposition aux patterns de pipeline de données en évolution, et vous irez en profondeur dans les défis d'ingénierie uniques que cela apporte autour de l'intégrité des données, la sécurité, la ponctualité et la maintenabilité. Vous vous concentrerez sur la conception et la mise en œuvre de l'architecture du pipeline de données pour garantir une haute disponibilité de notre environnement géré. Vous aurez l'opportunité de travailler sur la couche d'application écrite en Python/Scala en cours d'exécution sur EC2s orchestrées par AROW, de déboguer les problèmes d'application et d'environnement, et d'aider à optimiser et améliorer continuellement les patterns de pipeline.

Qualifications de base :

• Diplôme de Bachelor

• Au moins 6 ans d'expérience dans le développement d'applications (l'expérience de stage ne s'applique pas)

• Au moins 2 ans d'expérience dans les technologies de big data 

• Au moins 1 an d'expérience avec le cloud computing (AWS, Microsoft Azure, Google Cloud)

Qualifications préférées :

• 7+ ans d'expérience dans le développement d'applications incluant Python, SQL, Scala, ou Java

• 4+ ans d'expérience avec un cloud public (AWS, Microsoft Azure, Google Cloud)

• 4+ ans d'expérience avec des outils de données/computing distribuées (MapReduce, Hadoop, Hive, EMR, Kafka, Spark, Gurobi, ou MySQL)

• 4+ ans d'expérience de travail sur des données en temps réel et des applications de streaming 

• 4+ ans d'expérience avec l'implémentation NoSQL (Mongo, Cassandra) 

• 4+ années d'expérience en entreposage de données (Redshift, Snowflake) 

• 4+ ans d'expérience avec UNIX/Linux y compris des commandes de base et du scripting de shell

• 2+ années d'expérience avec les pratiques d'ingénierie Agile 

À ce moment, Capital One ne parrainera pas une nouvelle demande d'autorisation d'emploi pour ce poste.

Capital One offre un ensemble de santé, financier et autres avantages comprenhensif, compétitif et inclusif qui soutiennent votre bien-être total. En savoir plus sur le site web de carrières de Capital One. L'éligibilité varie en fonction d'un statut à temps plein ou à temps partiel, d'un statut exempt ou non exempt, et du niveau de gestion.

Aucune agence, s'il vous plaît. Capital One est un employeur qui prône l'égalité des chances et s'engage à promouvoir la diversité et l'inclusion sur le lieu de travail. Tous les candidats qualifiés recevront une considération pour l'emploi sans égard au sexe (y compris la grossesse, l'accouchement ou les conditions médicales connexes), la race, la couleur, l'âge, l'origine nationale, la religion, le handicap, l'information génétique, le statut marital, l'orientation sexuelle, l'identité de genre, la réattribution de genre, la citoyenneté, le statut d'immigration, le statut de vétéran protégé, ou toute autre base interdite en vertu de la loi fédérale, étatique ou locale applicable. Capital One promeut un lieu de travail sans drogue. Capital One prendra en considération pour l'emploi les candidats qualifiés ayant un casier judiciaire de manière conforme aux exigences des lois applicables concernant les enquêtes sur les antécédents criminels, y compris, dans la mesure applicable, l'article 23-A de la loi de correction de New York; le code de police de San Francisco, Californie, article 49, sections 4901-4920; la loi sur les chances équitables de New York City; la loi de Philadelphie sur l'examen équitable des casiers judiciaires; et d'autres lois et règlements fédéraux, étatiques et locaux applicables concernant les enquêtes sur les antécédents criminels.

Si vous avez visité notre site web à la recherche d'informations sur les opportunités d'emploi ou pour postuler à un poste, et que vous avez besoin d'un aménagement, veuillez contacter le service de recrutement de Capital One au 1-800-304-9102 ou par courriel à [email protected]. Toutes les informations que vous fournirez seront gardées confidentielles et seront utilisées uniquement dans la mesure nécessaire pour fournir les accommodements nécessaires.

Pour un soutien technique ou des questions sur le processus de recrutement de Capital One, veuillez envoyer un courriel à [email protected]

Capital One ne fournit pas, n'endosse pas et n'est pas responsable des produits, services, outils éducatifs ou autres informations disponibles sur ce site.

Capital One Financial est composé de plusieurs entités différentes. Veuillez noter que tous les postes affichés au Canada sont pour Capital One Canada, que tous les postes affichés au Royaume-Uni sont pour Capital One Europe et que tous les postes affichés aux Philippines sont pour Capital One Philippines Service Corp. (COPSSC).