Senior/Principal Backend Data Engineer - Data Platform

En Dematic, estamos a punto de revolucionar nuestro panorama de datos construyendo una plataforma de vanguardia denominada Enterprise Data Lakehouse Platform. Estamos formando dos equipos fundamentales de plataforma para liderar la creación de los componentes esenciales de esta innovadora plataforma. Estos equipos irán más allá de la ingestión de datos tradicional para diseñar una plataforma impulsada por microservicios que proporcione abstracciones, permitiendo que otros equipos extiendan la plataforma sin problemas.

Estamos en busca de Ingenieros de Datos Senior y Principal dinámicos y altamente calificados para diseñar y construir la base central de nuestra Enterprise Data Platform. Este rol requiere ingenieros que no solo tengan una comprensión profunda del panorama de la ingeniería de datos, sino que también hayan construido cimientos esenciales en el pasado. Los candidatos ideales harán contribuciones significativas al desarrollo de la plataforma mientras modelan activamente el futuro de nuestro ecosistema de datos.

Disponibilidad para proporcionar asistencia de reubicación a Waterloo

Lo que ofrecemos:

• Salario competitivo y beneficios
• Asistencia de reubicación
• Oportunidades de crecimiento profesional

Responsabilidades:

• Arquitectura, diseño y desarrollo de componentes centrales de la plataforma de datos con una arquitectura de microservicios, abstrayendo las complejidades de la plataforma y la infraestructura.
• Crear y mantener SDKs y bibliotecas esenciales de la plataforma de datos, adhiriéndose a las mejores prácticas de la industria.
• Diseñar y desarrollar marcos de conectores y conectores modernos para obtener datos de aplicaciones dispares tanto en las instalaciones como en la nube.
• Diseñar y optimizar el almacenamiento, procesamiento y rendimiento de consultas de datos para conjuntos de datos a gran escala utilizando las mejores prácticas de la industria.
• Diseñar y desarrollar marcos y procesos de calidad de datos para garantizar la exactitud y confiabilidad de los datos.
• Colaborar con científicos de datos, analistas y equipos multifuncionales para diseñar modelos de datos, esquemas de bases de datos y soluciones de almacenamiento de datos.
• Diseñar y desarrollar capacidades avanzadas de análisis y aprendizaje automático en la plataforma de datos.
• Diseñar y desarrollar marcos y prácticas de observabilidad y gobernanza de datos.
• Experiencia sólida con ciclos de despliegue y liberación de activos de datos, asegurando una plataforma robusta y escalable.
• Mantenerse actualizado con las últimas tendencias, tecnologías y mejores prácticas de ingeniería de datos.

Requisitos:

• 10+ años (para Senior), 15+ años (para Principal) de experiencia comprobada en ingeniería de datos moderna en la nube, arquitecturas de datos, almacenamiento de datos y desarrollo de software.
• Experiencia experta en la arquitectura, diseño y construcción de plataformas de datos de extremo a extremo en el entorno de GCP, mientras se adhieren a las pautas de mejores prácticas como estándares abiertos, costo, rendimiento, tiempo de comercialización y minimización de dependencia de proveedores.
• Experiencia sólida construyendo plataformas de datos en el entorno de GCP.
• Experiencia sólida diseñando y desarrollando componentes de plataforma de datos modulares y distribuidos con una arquitectura de microservicios.
• Experiencia sólida con Docker, Kubernetes y APIs.
• Competencia en herramientas y tecnologías de ingeniería de datos - SQL, Python, Spark, DBT, Airflow, Kafka.
• Experiencia sólida implementando linaje de datos, calidad de datos y observabilidad de datos para flujos de trabajo de big data.
• Experiencia sólida con principios modernos de modelado de datos, arquitectura de datos y gobernanza de datos.
• Experiencia excelente con principios de DataOps y automatización de pruebas.
• Experiencia excelente con herramientas de observabilidad - Grafana y Datadog.
• Los solicitantes deben estar autorizados para trabajar para cualquier empleador en EE.UU. sin requisitos de visa. Esta posición no es elegible para patrocinio de visa de empleo.

Deseables:

• Experiencia con arquitectura de Data Mesh.
• Experiencia construyendo capas semánticas para plataformas de datos.
• Experiencia construyendo arquitecturas escalables de IoT.

Información de la empresa:

Nombre de la