Инженер по данным (гибрид)

Что мы предлагаем: Карьерное развитие Конкурентоспособная заработная плата и льготы Прозрачность платежей Глобальные возможности Узнать больше здесь: https://www.dematic.com/en-us/about/careers/what-we-offer Dematic предлагает равные возможности для трудоустройства всем работникам и кандидатам на работу и запрещает дискриминацию и преследование любого рода без учета расовой принадлежности, цвета кожи, религии, возраста, пола, национальности, инвалидности, генетики, статуса защищенного ветерана, сексуальной ориентации, гендерной идентичности или выражения либо любой другой характеристики, защищенной федеральными, штатными или местными законами. Эта политика применяется ко всем условиям и условиям труда, включая найм, размещение, продвижение, увольнение, ликвидацию, отзыв, передачу, отпуска, компенсацию и обучение. Базовая заработная плата для этой роли оценена в $65,000.00 - $140,000.00 на момент размещения. Окончательная компенсация будет определяться по различным факторам, таким как место работы, образование, опыт, знания и навыки. #LI-DP1 Задачи и квалификации: Что мы ищем: Обязанности: Проектировать, разрабатывать и поддерживать масштабируемые и эффективные конвейеры данных для извлечения, преобразования и загрузки (ETL) данных из различных источников в хранилища данных и озера данных. Проектировать и разрабатывать микросервисы для Сотрудничать с учеными-данными, аналитиками и межфункциональными командами для проектирования моделей данных, схем баз данных и решений для хранения данных. Реализовывать процессы интеграции данных и качество данных для обеспечения точности и надежности данных для аналитики и отчетности. Оптимизировать хранение данных, обработку и запросы для больших наборов данных. Обеспечивать возможности продвинутой аналитики и машинного обучения на платформе данных. Непрерывно контролировать и улучшать качество данных и практики управления данными. Оставаться в курсе последних тенденций, технологий и лучших практик инженерии данных. Требования: Бакалавр в области информатики, инженерии или смежной области. 5+ года доказанного опыта в инженерии данных, хранилищах данных и процессах ETL. Владение инструментами и технологиями инженерии данных, такими как SQL, Python, Spark, Hadoop, Airflow, Apache Kafka и Presto. Солидный опыт работы с форматами таблиц, такими как Apache Iceberg или Delta Lake. Опыт проектирования и разработки инфраструктуры для пакетной обработки и работы с потоками данных в реальном времени. Солидный опыт работы с предками данных, качеством данных и наблюдением за данными. Солидный опыт проектирования и разработки микросервисов и распределенной архитектуры. Практический опыт работы с облачными платформами данных (например, AWS, Azure, GCP), предпочтительно GCP и архитектурами data lakehouse. Сильный опыт работы с технологиями контейнеров, такими как Docker, Kubernetes. Сильное понимание принципов моделирования данных, архитектуры данных и управления данными. Отличный опыт применения принципов DataOps и автоматического тестирования. Знакомство с обработкой данных и запросами с использованием распределенных систем и баз данных NoSQL. Способность оптимизировать и настраивать обработку и хранение данных для повышения производительности и экономии. Отличные навыки решения проблем и способность работать над сложными задачами инженерии данных. Сильные коммуникативные навыки и способность эффективно работать в составе межфункциональных команд. Предыдущий опыт наставничества и руководства для начинающих инженеров по данным является плюсом. Соответствующие сертификаты в области инженерии данных или облачных технологий являются желательными. Было бы хорошо: Опыт работы в архитектуре Data Mesh. Опыт в области цепочки поставок.