Senior Data Engineer

В Auctane мы испытываем глубокую страсть к помощи продавцам в выполнении обещаний перед потребителями. Наша миссия состоит в том, чтобы обеспечивать коммерцию через непревзойденные решения по доставке, позволяя бизнесам соответствовать растущим ожиданиям клиентов и делая мир более доступным для потребителей по всему миру. Бренды Auctane способствуют ежегодной доставке миллиардов продуктов на сумму более 200 миллиардов долларов клиентам по всему миру. И это только начало.

Мы – команда, посвящающая себя специализации в области доставки и программного обеспечения. Наша страсть заключается в том, чтобы помогать торговцам воплощать их идеи и инновации на мировом рынке. В нашем семействе представлены такие бренды, как ShipStation, ShipWorks, ShipEngine, ShippingEasy, Stamps, Endicia, Metapack, Shipsi, GlobalPost и Packlink. Мы гордимся нашими партнёрскими отношениями с лидерами отрасли, включая Amazon, UPS, USPS, eBay, BigCommerce, Shopify, WooCommerce и Walmart.

Главный приоритет нашей команды – предлагать клиентам высококлассное программное обеспечение для производства. Мы обеспечиваем быструю и надежную систему, предоставляя нашим инженерным командам необходимые инструменты для развертывания, мониторинга и поддержания наших производственных систем.

Данные играют ключевую роль в стратегии Auctane, оперируя в полном масштабе и на высокой скорости с использованием передовых архитектурных моделей и технологий. Набор наших данных, который обрабатывает тысячи событий в секунду, продолжает быстро расти. Мы постоянно совершенствуем нашу платформу данных и инженерный стек для поддержки роста, внедрения инновационных решений и предоставления первоклассных услуг нашим клиентам.

Мы поощряем культуру открытости и плоской иерархии в инженерной среде, где данные и доказательства превалируют над мнениями и иерархией. Auctane процветает благодаря автономии, межфункциональной командной работе, энергии и общей страсти к бизнесу и нашим клиентам.

Обязанности:

• Проектировать, создавать и управлять нашим озером данных и аналитическими решениями с использованием технологий AWS, таких как S3, Athena, Lambda, Kinesis и ECS.
• Использовать современные технологии, такие как Airflow, dbt и Spark для обработки данных.
• Разрабатывать фреймворки и решения для получения, обработки, мониторинга и извлечения ценности из больших наборов данных.
• Поддерживать аналитиков данных и ученых данных с помощью автоматизации, инструментов, пайплайнов данных и экспертных знаний в области инженерии данных.
• Предоставлять надежное программное обеспечение и пайплайны данных, используя лучшие практики, такие как автоматизация, контроль версий, непрерывная интеграция/доставка, тестирование и безопасность.
• Внедрять и соблюдать автоматизированные практики безопасности и управления данными.
• Наставничать младших коллег и получать наставничество от старших членов команды.

Квалификации:

• Опыт работы в области программной инженерии.
• Опыт создания надежных, автоматизированных и надежных пайплайнов данных на Python и SQL.
• Знание фреймворков обработки данных, таких как Pandas, Polars, dbt или Spark.
• Опыт работы с потоковой обработкой данных.
• Способность работать с AWS, Azure или Google Cloud.
• Страсть к автоматизации в условиях непрерывной интеграции/доставки.
• Знакомство с решениями для оркестрации данных, такими как Airflow, Oozie, Luigi или Prefect.
• Понимание дизайна как реляционных, так и нереляционных баз данных.
• Опыт проектирования распределенных систем и понимание их компромиссов.
• Опыт в лучших практиках программной инженерии, системах контроля версий, автоматизированных пайплайнах развертывания, таких как Jenkins, и инструментах DevOps