Software Development Engineer III - ETL Engineer

Компания: Groupon

Groupon - это ведущий маркетплейс, который соединяет людей с лучшими предложениями в их городе или пункте назначения. Через мобильную коммерцию в реальном времени в местных бизнесах, на живых мероприятиях и в туристических направлениях Groupon помогает людям открывать для себя впечатления, которые делают жизнь насыщенной, веселой и полезной. Поддерживая местный бизнес, мы способствуем установлению прочных отношений с клиентами и развитию жизнерадостных сообществ. Несмотря на наличие тысяч сотрудников по всему миру, наша культура вдохновляет на инновации, награждает за риск и отмечает успехи.

В Groupon мы понимаем, что великие компании создаются великими людьми. Мы объединяем лучшее из двух миров, сочетая ресурсы и масштаб крупной компании с автономией и потенциалом влияния небольшой организации. Мы любопытные, веселые, немного интенсивные и глубоко привержены тому, чтобы местный бизнес процветал.

Команда Data Ingestion в Groupon является центральным звеном всех данных. Мы определяем и строим решения следующего поколения на базе облачных технологий для приема и курирования петабайт данных в нашем озере данных и хранилище данных. Наша миссия - поддерживать аналитиков данных и ученых, работающих с данными, по всем бизнес-единицам, чтобы они могли принимать информированные бизнес-решения. На этой должности у вас будет возможность сочетать свои навыки в компьютерных науках, распределенных системах и масштабируемых высокопроизводительных производственных системах.

• Проектировал и разрабатывал высокообъемные пакеты данных/потоковые конвейеры и фреймворки, охватывающие платформы данных AWS и GCP.
• Разрабатывал и запускал платформы для приема и курирования данных следующего поколения.
• Участвовал в определении требований, обсуждениях системной и архитектуры данных.
• Технически руководил и наставлял младших инженеров в области разработки программного обеспечения и лучших практик инженерии данных.
• Сотрудничал с кросс-функциональными гибкими командами, включая разработчиков ПО, инженерии данных, экспертов по машинному обучению и аналитиков данных.

Мы рады рассмотреть вас, если у вас есть:

• Степень BS/MS в области компьютерных наук с более чем 5-летним опытом в распределенных системах, инженерии данных или разработке ПО.
• Сильные навыки программирования на таких языках, как Python и Java.
• Опыт работы с базами данных SQL и NoSQL (Teradata, MySQL, Postgres, Cassandra, Elasticsearch, HBase и т.д.).
• Знание командной строки UNIX.
• Опыт работы с технологиями больших данных, такими как Apache Spark, Hadoop, Hive и т.д.
• Глубокий опыт работы с ETL, вопросами родоводства данных и качества данных.
• Опыт работы с пакетными и потоковыми конвейерами данных.
• Опыт работы с облачными технологиями AWS или GCP, особенно связанными с обработкой данных в масштабе.
• Сильное понимание производственных служб с жесткими SLA и практиками CI/CD.
• Отличные письменные и устные коммуникативные навыки.
• Страсть к созданию платформ данных и желание к инновациям.

• Опыт работы с Airflow и Apache Kafka.
• Знание Scala.
• Опыт работы с HBase и кешем Redis.
• Опыт работы с Google Data Streams и Google Dataproc.
• Опыт работы с технологиями захвата данных в реальном времени (CDC).
• Опыт работы с современными технологиями хранилищ данных, такими как Delta Lake и Hudi.
• Опыт разработки распределенных приложений с центральным логированием, метриками, мониторингом и инструментами оповещения.