Senior Data Engineer

В NocNoc мы ищем опытного старшего инженера по данным, чтобы усилить нашу динамичную команду. Эта ключевая роль включает в себя поддержание и развитие нашей мощной, масштабируемой платформы для данных, которая является жизненно важной для нашей стратегии работы с данными. Если вы самомотивированный человек, который успешно работает в поддержку разнообразных команд, систем и продуктов, мы хотели бы с вами познакомиться.

В качестве старшего инженера по данным вы будете:

• Проектировать, создавать и оптимизировать конвейеры данных для ингестирования, очистки, преобразования и агрегации данных из множества источников.
• Создавать и поддерживать дименсионные модели данных в нашем хранилище данных и дата-марте.
• Повышать производительность конвейера данных, чтобы обеспечить скорость, надежность и масштабируемость.
• Разрабатывать и совершенствовать наш внутренний ETL-фреймворк и вносить вклад в инструменты платформы данных для контроля качества, наблюдения и управления.
• Обновлять и поддерживать существующие функции и инфраструктуру платформы данных на основе запросов продукта.
• Оставаться на переднем крае прогресса, исследуя и интегрируя новые данные технологий в наши корпоративные практики.
• Сотрудничать с мультифункциональными командами, включая аналитиков данных, ученых, менеджеров по продукту и инженеров-программистов, для оптимизации использования данных и поддержки архитектурных проектов.

Идеальный кандидат на должность старшего инженера по данным будет иметь:

• Минимум четыре года опыта работы инженером по данным или на аналогичной должности.
• Продвинутые навыки программирования на Python и SQL, знакомство с фреймворками вроде Poetry, pytest и типами подсказок.
• Сильный опыт в программной разработке, включая Docker, Kubernetes, ООП, принципы SOLID, TDD и процедуры CI/CD.
• Опыт работы с AWS, в том числе с развертыванием инфраструктуры, настройкой сети и конфигурации безопасности.
• Знание инструментов оркестрации данных, таких как Airflow, и систем распределенных вычислений, например Spark или Trino.
• Твердое понимание как реляционных баз данных, так и технологий NoSQL, включая MySQL, Postgres, MongoDB и Elasticsearch.
• Знание инфраструктуры как кода с использованием Terraform и знакомство с архитектурой data lakehouse и открытыми табличными форматами (например, Iceberg, Hudi, Delta