Senior/Principal Backend Data Engineer - Data Platform

Chez Dematic, nous sommes sur le point de révolutionner notre paysage de données en construisant une plateforme de pointe de type Data Lakehouse d'entreprise. Nous formons deux équipes de plateforme essentielles pour diriger la création des composants fondamentaux de cette plateforme révolutionnaire. Ces équipes iront au-delà de l'ingestion de données traditionnelle pour architecturer une plateforme microservices qui fournit des abstractions, permettant à d'autres équipes d'étendre la plateforme sans effort.

Nous recherchons des ingénieurs en données dynamiques et hautement qualifiés de niveau Senior et Principal pour concevoir et construire le cœur de notre plateforme de données d'entreprise. Ce rôle nécessite des ingénieurs qui ont non seulement une compréhension profonde du paysage de l'ingénierie des données, mais qui ont également construit des fondements essentiels par le passé. Les candidats idéaux apporteront des contributions significatives au développement de la plateforme tout en façonnant activement l'avenir de notre écosystème de données.

Ouvert à fournir une assistance à la relocalisation vers Waterloo

Ce que nous offrons :

• Salaire et avantages compétitifs
• Assistance à la relocalisation
• Opportunités de croissance professionnelle

Responsabilités :

• Architecture, conception et développement des composants de base de la plateforme de données avec une architecture microservices, en abstraisant les subtilités de la plateforme et de l'infrastructure.
• Création et maintenance des SDK et bibliothèques essentiels de la plateforme de données, en adhérant aux meilleures pratiques de l'industrie.
• Conception et développement de cadres de connecteurs et de connecteurs modernes pour sourcer des données à partir d'applications disparates à la fois sur site et dans le cloud.
• Conception et optimisation du stockage des données, du traitement et des performances des requêtes pour des ensembles de données à grande échelle en utilisant les meilleures pratiques de l'industrie.
• Conception et développement de cadres et processus de qualité des données pour garantir l'exactitude et la fiabilité des données.
• Collaboration avec des data scientists, analystes et équipes transversales pour concevoir des modèles de données, des schémas de bases de données et des solutions de stockage de données.
• Conception et développement de capacités avancées d'analytique et d'apprentissage machine sur la plateforme de données.
• Conception et développement de cadres et pratiques de gouvernance des données et d'observabilité.
• Expérience solide des cycles de déploiement et de publication des actifs de données, garantissant une plateforme robuste et évolutive.
• Se tenir à jour avec les dernières tendances, technologies, et meilleures pratiques en ingénierie des données.

Exigences :

• 10+ ans (pour Senior), 15+ ans (pour Principal) d'expérience prouvée en ingénierie des données cloud moderne, architectures de données, entrepôt de données et ingénierie logicielle.
• Expertise en architecture, conception et construction de plateformes de données de bout en bout dans l'environnement GCP tout en adhérant aux meilleures pratiques telles que les standards ouverts, les coûts, la performance, le délai de mise sur le marché et la minimisation de l'enfermement fournisseur.
• Expérience solide dans la construction de plateformes de données dans l'environnement GCP.
• Expérience solide dans la conception et le développement de composants de plateforme de données modulaires et distribués avec une architecture microservices.
• Forte expérience avec Docker, Kubernetes, et les APIs.
• Maîtrise des outils et technologies d'ingénierie des données - SQL, Python, Spark, DBT, Airflow, Kafka.
• Expérience solide de mise en œuvre de lignage de données, de qualité des données, et d'observabilité pour les flux de travail de big data.
• Forte expérience avec la modélisation de données moderne, l'architecture de données, et les principes de gouvernance des données.
• Excellente expérience des principes DataOps et de l'automatisation des tests.
• Excellente expérience des outils d'observabilité - Grafana et Datadog.
• Les candidats doivent être autorisés à travailler pour tout employeur aux États-Unis sans exigences de visa. Ce poste n'est pas éligible au parrainage de visa de travail.

At