Ведущий инженер по данным

Описание компании

Когда вы с нами, вы находитесь в компании лучших. Десятилетиями мы помогали маркетологам из ведущих мировых брендов в персонализации взаимодействий с миллионами клиентов, используя наши передовые технологии, решения и услуги. Качественная система идентификации Epsilon обеспечивает брендам прозрачный, защищенный от проникновения взгляд на своих потребителей, который можно использовать в нашем наборе цифровых медиа, мессенджеров и решений лояльности. Каждый день мы обрабатываем более 400 миллиардов взаимодействий с потребителями и обладаем множеством собственных технологических патентов, включая языки моделирования в реальном времени и новшества в области защиты конфиденциальности потребителей. Благодаря преданности каждого сотрудника, Epsilon India теперь является сертифицированным "Great Place to Work". Epsilon также весьма заслуженно признана лидером индустрии по версиям Forrester, Adweek и MRC. Будучи основой Publicis Groupe, Epsilon - глобальная компания с более чем 8,000 сотрудниками по всему миру. Для дополнительной информации посетите сайт epsilon.com/apac или нашу страницу в LinkedIn.

Описание работы

Цель организации:

Это должность в инженерной команде в рамках организации Digital Experience. Мы организуем начальные этапы взаимодействия с клиентами, персонализируя предложения и контент. В настоящее время мы ищем мотивированного, умного инженера-программиста.

Вы будете работать в команде, которая сосредоточена на создании решений и конвейеров с использованием последних принципов проектирования программного обеспечения и технологических стеков. Также от вас ожидают идентификацию, проектирование и реализацию улучшений, включая переосмысление инфраструктуры для лучшей масштабируемости, оптимизацию доставки данных и автоматизацию процессов непрерывной интеграции и развертывания.

От вас также ожидают сотрудничество с различными стейкхолдерами, применение научного подхода к проектированию и созданию программного обеспечения высокого качества.

Вы должны обладать отличными навыками устной и письменной коммуникации и чувствовать себя комфортно в предпринимательской, похожей на стартап, среде большой компании.

Краткое описание роли:

Разрабатывать решения для Epsilon, которые будут обеспечивать высококачественные персонализированные рекомендации наших клиентам через разные каналы.

Работать с командой Data Science для обеспечения бесшовной интеграции и поддержки моделей машинного обучения.

Создавать инфраструктуру, необходимую для оптимального извлечения, преобразования и загрузки данных из широкого спектра источников данных с использованием SQL и технологий больших данных AWS.

Разрабатывать конвейера от начала до конца (Data/Dev/MLOps) на основе глубокого понимания облачных платформ, жизненного цикла AI/ML и бизнес-проблем, чтобы обеспечить эффективную и устойчивую доставку решений.

Сотрудничать с другими членами команды для обеспечения высокого качества результатов работы.

Изучить и использовать последние модели проектирования в программном обеспечении.

Квалификация

Управление данными

• Опыт работы со структурированными и неструктурированными данными, Hadoop, Apache Spark или аналогичными технологиями.
• Хорошее понимание концепций и инструментов моделирования данных, хранилищ данных, каталогов данных.
• Опыт работы с архитектурами Data Lake и объединением структурированных и неструктурированных данных в единые представления.
• Способность определять, объединять, исследовать и изучать данные из множества разрозненных источников и форматов.
• Способность дистиллировать большие объемы неструктурированных или бесформенных данных и привести их в форму, подлежащую анализу.
• Способность решать проблемы с данными, такие как отсутствие значений, выбросы, несогласованное форматирование и т. д.
• Способность обрабатывать большие наборы данных (миллионы строк, тысячи переменных).

Разработка программного обеспечения

• Умение писать код на языках программирования, таких как Python / NodeJs, PySpark и Shell script в Linux.
• Знание методологии разработки программного обеспечения, такой как Agile/Scrum.
• Стремление изучать новые технологии, следовать последним тенденциям в области облачной архитектуры и вовлекать вашу организацию в применение новейших передовых методов.

Архитектура и инфраструктура

• Опыт проектирования архитектуры на AWS.
• Проектирование архитектуры для приложений с высоким объемом транзакций.
• Опыт работы с программным обеспечением AWS EC2, S3, EMR/Glue, Lambda, Data Pipeline, CloudFormation, Redshift и т. д.
• Хорошие знания работы в системах UNIX / LINUX
• Опыт проектирования и создания крупномасштабных корпоративных систем

Квалификация

• Степень бакалавра по инженерии и смежным областям с 10+ лет подобного опыта.
• Технический стек: Python или NodeJS, PySpark, Microservices, Docker, бессерверные фреймворки и Databricks.
• Практический опыт построения рабочих процессов ETL / конвейеров обработки данных.
• Опыт работы с реляционными и нереляционными базами данных и SQL (NoSQL - плюс).
• Опыт работы с облачными технологиями (AWS или Azure).
• Опыт проектирования и создания API для высокого транзакционного объема.
• Опыт создания конвейеров обработки данных и конвейеров CI / CD / MLOps.
• Знакомство с инструментами Airflow и MLFlow.
• Знакомство с автоматическими системами тестирования.
• Опыт работы с технологиями AdTech или MarTech является дополнительным преимуществом.
• Знание алгоритмов и концепций машинного обучения и их реализации будет плюсом.
• Хорошие навыки письменной и устной коммуникации, умение работать в команде.
• Сильный аналитический ход мысли и способность интерпретировать данные.

В дополнение к этому, кандидат должен обладать сильным коммерческим сознанием, навыками взаимодействия и коммуникации, а также способностью к самостоятельной работе. Он / она должен(а) уметь сообщать свои результаты и объяснять, как работают используемые методики так, чтобы все заинтересованные стороны, как технические, так и нетехнические, понимали его.