Инженер по работе с данными 2

Описание компании

Присоединяясь к нам, вы работаете с лучшими. На протяжении нескольких десятилетий мы помогаем маркетологам ведущих мировых брендов персонализировать взаимодействие для миллионов пользователей с помощью наших передовых технологий, решений и услуг. Благодаря высокому уровню нашего бренда Epsilon, бренды получают прозрачную и безопасную с точки зрения конфиденциальности картину своих клиентов, применимую в нашем арсенале цифровых медиа, мессенджеров и программ лояльности. Мы обрабатываем более 400 миллиардов действий потребителей ежедневно и имеем несколько собственных технологических патентов, включая языки моделирования в реальном времени и продвинутые методы защиты конфиденциальности пользователей. Благодаря усилиям всех наших сотрудников, Epsilon India теперь сертифицирована как Great Place to Work™. Epsilon также постоянно признается отраслевым лидером по версии Forrester, Adweek и MRC. Будучи частью Publicis Groupe, Epsilon является глобальной компанией с более чем 8 000 сотрудников по всему миру. Для получения дополнительной информации посетите epsilon.com/apac или нашу страницу в LinkedIn.

Описание работы

Цель организации:

Эта должность находится в инженерной команде в рамках подразделения Digital Integration Services. Мы инициируем взаимодействие с клиентом через персонализацию предложений и контента. В настоящий момент мы ищем умного и высокомотивированного инженера-программиста.

Вы будете частью команды, занимающейся разработкой решений и созданием процессов с использованием самых новых принципов проектирования программного обеспечения и технологических стеков, и будете отвечать за идентификацию, проектирование и внедрение улучшений. Это включает в себя перепроектирование инфраструктуры для большей масштабируемости, оптимизацию передачи данных и автоматизацию процессов непрерывной интеграции и развертывания.

Кроме того, вы должны будуте сотрудничать с различными участниками, привносить научный ригор в разработку и создавать программное обеспечение высокого качества.

От соискателя ожидаются отличные навыки устной и письменной коммуникации, а также комфорт при работе в стартап-окружении в рамках более крупной компании.

Краткое описание роли:

• Разрабатывать решения для Epsilon, обеспечивающие высококачественные персонализированные рекомендации для наших клиентов по различным каналам.
• Сотрудничать с командой Data Science для обеспечения бесперебойной интеграции и поддержки моделей машинного обучения.
• Создавать необходимую инфраструктуру для оптимального извлечения, преобразования и загрузки данных из различных источников с использованием SQL и технологий 'больших данных' AWS.
• Разрабатывать конвейеры на всех уровнях (Data/Dev/MLOps) на основе глубокого понимания облачных платформ, жизненного цикла AI/ML и бизнес-проблем, чтобы гарантировать эффективную и устойчивую доставку решений.
• Сотрудничать с другими членами команды для обеспечения высокого качества результатов.
• Изучать и внедрять последние дизайны и шаблоны в области программной инженерии.

Квалификация

Управление данными:

• Опыт работы со структурированными и неструктурированными данными, а также с технологиями типа Hadoop или Apache Spark.
• Хорошее понимание моделирования данных, хранилищ данных, концепций и инструментов каталогов данных.
• Опыт работы с архитектурой Data Lake и объединением структурированных и неструктурированных данных в единое представление.
• Способность идентифицировать, соединять, исследовать и изучать данные из множества различных источников и форматов.
• Способность обрабатывать большие объемы неструктурированных или бессмысленных данных и преобразовывать их в анализируемую форму.
• Умение работать с имперфектами данных, такими как отсутствующие значения, выбросы, несогласованные форматы и т.д.
• Способность работать с большими наборами данных (миллионы строк, тысячи переменных).

Разработка программного обеспечения:

• Опыт написания кода на таких языках программирования, как Python, PySpark, и shell-скриптов в Linux.
• Знакомство с методологиями разработки программного обеспечения, такими как Agile/Scrum.
• Страсть к изучению новых технологий и внедрению организацией передовых практик.

Архитектура и инфраструктура:

• Опыт архитектурного проектирования на AWS.
• Опыт разработки и внедрения программного обеспечения с помощью инструментов AWS, таких как EC2, S3, EMR/Glue, Lambda, Data Pipeline, CloudFormation, Redshift и др.
• Хорошее знание работы с системами UNIX/LINUX.

Квалификация:

• Высшее образование в области инженерии или смежной специальности с опытом работы не менее 2 лет.
• Опыт работы с технологическими стеками, такими как Python, PySpark, Micro services, Docker, Serverless Frameworks.
• Практический опыт построения ETL рабочих процессов/конвейеров.
• Опыт работы с реляционными и нереляционными базами данных и SQL (желательно опыт работы с NoSQL).
• Опыт работы с облачными технологиями (AWS или Azure).
• Опыт построения данных и конвейеров CI/CD/MLOps.
• Знакомство с инструментами Airflow и MLFlow.
• Опыт работы с автоматизированными фреймворками для юнит и интеграционного тестирования.
• Предыдущий опыт работы с AdTech или MarTech технологиями будет являться дополнительным преимуществом.
• Знание алгоритмов и концепций машинного обучения будет плюсом.
• Отличные навыки устной и письменной коммуникации, командный игрок.
• Сильные аналитические способности и умение интерпретировать результаты.

Идеальный кандидат должен обладать сильными бизнес-навыками, отличными межличностными и коммуникативными навыками и способностью работать самостоятельно. Он/она должен(на) быть способен(на) общаться и объяснять техники так, чтобы их понимали все участники, как технические, так и нетехнические.