Ingénieur de données DataOS

Description -

Ingénieur des données DataOS collaborant sur des avancées de pointe dans les solutions évolutives pour l'ingestion de données, la manipulation et l'intégration de bout en bout des blocs de données pour soutenir les produits de données impulsés par les entreprises.

Applique les connaissances spécialisées acquises pour résoudre des problèmes commerciaux courants et complexes dans le cadre de directives établies et recommande des alternatives appropriées. Travaille sur des problèmes de complexité et de portée diverses. Peut agir en tant que coach d'équipe ou de projet en donnant des directives aux activités de l'équipe et en facilitant la validation de l'information et le processus de prise de décision de l'équipe. Exerce un jugement dans le cadre de politiques et de pratiques généralement définies pour identifier et sélectionner une solution. Capacité à gérer la plupart des situations uniques. Peut demander des conseils pour résoudre des problèmes commerciaux complexes.

Responsabilités

• Conçoit et établit des architectures de données sécurisées et performantes, des améliorations, des mises à jour, et des changements de programmation pour des parties et des sous-systèmes de pipelines de produits de données, de référentiels ou de modèles pour des données structurées/non structurées. Se concentre sur le développement de bibliothèques partageables qui réduisent le temps de développement et de maintenance,
• Analyse la conception et détermine les activités de codage, de programmation, et d'intégration nécessaires sur la base des objectifs généraux et de la connaissance de l'architecture globale du produit ou de la solution.
• Rédige et exécute des plans de test complets, des protocoles, et de la documentation pour la partie assignée du système de données ou du composant ; identifie et débogue, et crée des solutions pour les problèmes avec le code et l'intégration dans l'architecture du système de données.
• Dirige une équipe de projet d'autres ingénieurs des données pour développer des solutions fiables, rentables et de haute qualité pour le système de données, le modèle, ou le composant assigné.
• Collabore et communique avec l'équipe du projet sur l'avancement du projet et la résolution des problèmes. Soutient les processus et les outils de co-développement pour promouvoir des approches communes à la résolution de problèmes complexes.
• Représente l'équipe d'ingénierie des données pour toutes les phases des projets de développement plus importants et plus complexes.
• Fournit des conseils et du mentorat aux membres du personnel moins expérimentés. Un fort leadership technique est requis.

Connaissances & Compétences

• Utilisation d'outils d'ingénierie des données, de langages (Python est un must. Java Scala est un plus), de cadres pour extraire, nettoyer et explorer de grands ensembles de données.
• Aisance en SQL & systèmes de données basés sur le Cloud. Modélisation de données relationnelles.
• Aisance dans les systèmes cloud complexes, distribués et massivement parallèles (AWS, GCP, AZURE).
• Fortes compétences en analyse et en résolution de problèmes avec la capacité de représenter des algorithmes complexes en logiciel.
• Conception de systèmes/solutions de données pour gérer des données complexes qui sont hautement évolutives et performantes.
• Capacité à optimiser les performances du code Spark.
• Forte compréhension des technologies de base de données et des systèmes de gestion.
• Forte compréhension des systèmes/services basés sur le cloud. Différencier les bénéfices pour le Lake House de big data vs. Entrepot.
• Expérience avec les outils d'orchestration de flux de travail (Airflow, Jenkins)
• Forte expérience avec les environnements de carnets de notes (Jupyter, DataBricks)
• Expérience de la collecte des exigences auprès des partenaires et du choix des bonnes technologies pour répondre aux exigences d'écoulement des données de bout en bout qui sont requises. (Taille des données, délais de livraison : horaires, quotidiens, mensuels ou approches en temps réel)
• Méthodologie de test de l'architecture des bases de données, y compris l'exécution de plans de test, le débogage, et les scripts et outils de test.
• Excellentes compétences de communication écrite et verbale ; maîtrise de l'anglais et de la langue locale.
• Capacité à communiquer efficacement les architectures de produits, les propositions de design et à négocier des options à des niveaux de gestion.

Portée & Impact

• Collabore avec des pairs, des ingénieurs juniors, des data scientists et l'équipe de projet.
• Interagit généralement avec des contributeurs individuels de haut niveau, des managers et des équipes de programme.
• Dirige un projet nécessitant le développement de solutions d'ingénierie des données.

Éducation & Expérience

• Titulaire d'un baccalauréat ou d'une maîtrise en informatique, en ingénierie des données, en systèmes d'information, en ingénierie ou équivalent.
• Typiquement 4 à 6 ans d'expérience.

Emploi -

Horaire -

Décalage horaire -

Voyages -

Relocalisation -

Égalité des chances d'emploi -

HP Inc. offre l'égalité des chances d'emploi F/H/Vétéran protégé/ Personne avec des handicaps.