Lead Data Engineer

О компании PrePass

PrePass® является самой продвинутой и широко используемой платформой объезда весовых станций и оплаты дорожных сборов в Северной Америке. Наши передовые технологии позволяют безопасным и квалифицированным автоперевозчикам объезжать контрольные пункты на высоких скоростях, повышая эффективность за счёт экономии времени, топлива и денег, а также снижая выбросы. Уникально, что PrePass предлагает решения как для объезда, так и для оплаты дорожных сборов, что позволяет автопаркам эффективно управлять затратами, избегать нарушений и автоматически разрешать споры по оплате. PrePass является единственной системой предварительного пропуска, разработанной, принадлежащей и управляемой в США, и гордится тем, что является единственным одобренным корпоративным партнёром Американской ассоциации автоперевозчиков. Более 105 000 автопарков доверяют PrePass, обслуживающему более 750 000 коммерческих транспортных средств.

Описание позиции: Ведущий инженер по данным

Мы ищем Ведущего инженера по данным, который возглавит создание инновационных решений, отвечающих динамичным потребностям нашего растущего бизнеса. В этой роли вы будете руководить проектированием, разработкой и внедрением нашей следующей генерации облачной архитектуры данных. Вы также будете наставлять и направлять команду талантливых инженеров по данным, сочетая техническую экспертизу с стратегическим видением. Мы ищем первопроходца, увлеченного инновациями и непрерывным обучением, одинаково искусного в кодировании и концептуализации сложных решений в разных командах и областях.

Ваши ключевые обязанности

• Проектировать и внедрять масштабируемую, распределенную архитектуру с использованием Azure Databricks, Delta Lake и других сервисов Microsoft Azure.
• Выступать в качестве технического эксперта, руководить проектами и оптимизировать производственные системы для надежности, производительности, масштабируемости и безопасности.
• Сотрудничать с руководством по продукту и инженерному делу для разработки и создания решений, соответствующих дорожной карте.
• Внедрять лучшие практики Microsoft Azure для качества данных, управления, безопасности, родословной и каталогизации.
• Наставлять менее опытных инженеров и руководить командой из примерно 5 инженеров.
• Активно следить за рабочими процессами и вычислительными ресурсами для повышения эффективности и снижения затрат.
• Создавать надежные решения для оркестрации и наблюдения.
• Диагностировать системные проблемы, приоритизировать исправления и эффективно распределять задачи в команде.
• Контролировать выпуск кода в производство, обеспечивая плавные переходы.
• Возглавлять прототипирование для демонстрации жизнеспособности и ценности решений и архитектур.

Квалификации

Требуемые

• Степень бакалавра в области компьютерных наук, смежных технических областей или эквивалентный опыт.
• Минимум 8 лет опыта проектирования и построения крупных баз данных, из которых минимум 2 года на руководящей должности.
• По крайней мере 3 года программирования на Python и Pyspark.
• Экспертные навыки SQL.
• Обширный опыт создания ETL/ELT решений с использованием Azure Databricks, Azure Data Factory или аналогичных инструментов.
• Опыт проектирования структур данных и моделей для озер данных.
• Глубокое понимание распределенного хранения и вычислений.
• Опыт работы с инструментами для отчетности и визуализации данных, в частности PowerBI.
• Опыт работы с SSIS.
• Знакомство с практиками разработки ПО в производственной среде, управлением версиями, кодовыми ревью, автоматизированным тестированием и CI/CD.
• Сильные навыки сотрудничества, адаптив