Senior/Principal Backend Data Engineer - Data Platform

В Dematic мы стоим на грани революции в области данных, создавая ультрасовременную платформу Enterprise Data Lakehouse. Мы формируем две ключевые платформенные команды для создания основополагающих компонентов этой передовой платформы. Эти команды пойдут дальше традиционной интеграции данных, создавая платформу на основе микросервисов, которая предоставит абстракции, позволяющие другим командам легко расширять платформу.

Мы ищем динамичных и высококвалифицированных инженеров по данным уровня Senior и Principal, которые будут разрабатывать и строить ядро нашей Enterprise Data Platform. Эта роль требует инженеров, которые не только глубоко понимают область инженерии данных, но и уже создавали ключевые основы в прошлом. Идеальные кандидаты внесут значительный вклад в разработку платформы, активно формируя будущее нашей экосистемы данных.

Готовы предоставить помощь в переезде в Ватерлоо

• Конкурентная заработная плата и льготы
• Помощь в переезде
• Возможности для профессионального роста

• Проектирование, дизайн и разработка основных компонентов платформы данных с архитектурой на основе микросервисов, абстрагируя сложности платформы и инфраструктуры.
• Создание и поддержка необходимых SDK и библиотек платформы данных, соблюдая отраслевые передовые практики.
• Проектирование и разработка фреймворков коннекторов и современных коннекторов для источников данных из различных приложений как в локальных условиях, так и в облаке.
• Проектирование и оптимизация хранилищ данных, их обработки и производительности запросов для крупных наборов данных с использованием лучших отраслевых практик.
• Проектирование и разработка фреймворков и процессов обеспечения качества данных для обеспечения точности и надежности данных.
• Сотрудничество с учеными данных, аналитиками и межфункциональными командами для проектирования моделей данных, схем баз данных и решений по хранению данных.
• Проектирование и разработка возможностей для продвинутой аналитики и машинного обучения на платформе данных.
• Проектирование и разработка фреймворков и практик наблюдаемости и управления данными.
• Опыт работы с циклами развертывания и выпуска данных для обеспечения надежной и масштабируемой платформы.
• Оставаться в курсе последних тенденций, технологий и передовых практик в области инженерии данных.

• 10+ лет (для Senior), 15+ лет (для Principal) подтвержденного опыта в современной облачной инженерии данных, архитектурах данных, хранении данных и разработке программного обеспечения.
• Экспертные навыки в проектировании, дизайне и создании полноценных платформ данных в среде GCP с соблюдением лучших практик, таких как открытые стандарты, стоимость, производительность, сроки выхода на рынок и минимизация зависимости от поставщика.
• Опыт проектирования и разработки модульных, распределённых компонентов платформы данных с архитектурой на основе микросервисов.
• Сильный опыт работы с Docker, Kubernetes и API.
• Знание инструментов и технологий инженерии данных - SQL, Python, Spark, DBT, Airflow, Kafka.
• Опыт внедрения прослеживаемости данных, обеспечения качества данных и наблюдаемости данных для больших данных.
• Опыт работы с современным моделированием данных, архитектурой данных и принципами управления данными.
• Отличный опыт работы с принципами DataOps и автоматизации тестирования.
• Отличный опыт работы с инструментами наблюдаемости - Grafana и Datadog.
• Кандидаты должны быть авторизованы для работы у любого работодателя в США без необходимости в визе. Эта позиция не предоставляет спонсорство на рабочую визу.

• Опыт работы с архитектурой Data Mesh.
• Опыт создания семантических уровней для платформ данных.
• Опыт создания масштабируемых IoT-архитектур.

Название компании: KION Group

Название должности: Senior/Principal Backend Data Engineer -