Data Engineer PySpark

Присоединяйтесь к нашей команде: Инженер по данным - PySpark в Sopra Steria

Описание компании

О Sopra Steria: Ведущая технологическая компания в Европе, признанная за свои навыки в консалтинге, цифровых сервисах и разработке программного обеспечения. Sopra Steria помогает клиентам в осуществлении их цифровой трансформации, предлагая индивидуальные устойчивые решения, сочетающие обширные отраслевые знания и передовые технологии. Будучи приверженцами инноваций и совершенства, Sopra Steria верит в ориентированный на клиента подход и светлое цифровое будущее через командную работу. С мощным штатом в 50,000 человек почти в 30 странах, мы достигли значительного дохода в размере €5.1 миллиарда в 2022 году.

Описание работы

В настоящее время мы ищем высококвалифицированного и страстного Инженера по данным для укрепления нашей динамичной команды. К этой роли относится тесное сотрудничество с учеными в области данных для разработки эффективных моделей машинного обучения посредством создания и оптимизации данных. Ваша экспертиза в определенных областях будет ключевой для поддержания и расширения наших операций с данными.

Основные обязанности:

• Сотрудничать с учеными в области данных для создания, доработки и реализации конвейеров машинного обучения.
• Использовать PySpark для надежной обработки данных, их преобразования и подготовки к обучению моделей.
• Использовать AWS EMR и S3 для обеспечения масштабируемых и эффективных решений по обработке и хранению данных.
• Создавать и управлять рабочими процессами ETL с помощью Stream sets для эффективного ввода и преобразования данных.
• Проектировать и поддерживать конвейеры для обеспечения высококачественных тренировочных и инферентных наборов данных.
• Сотрудничать с функциональными группами для гарантии бесперебойного развертывания и возможностей вывода в реальном времени или почти в реальном времени.
• Оптимизировать конвейеры для повышения производительности, масштабируемости и надежности.
• Управлять политиками и контролями IAM для эффективного защиты доступа и управления данными.
• Оптимизировать задания Spark и архитектуру для высокопроизводительной обработки данных.

Требования:

• Продвинутые навыки SQL, включая