Data Engineer

Присоединяйтесь к Complexio в качестве нашего нового инженера по данным

Обзор компании: В Complexio мы являемся пионерами в области Фундаментального ИИ, революционизируя способы ведения бизнеса за счет автоматизации процессов на основе глубоких аналитических данных как из структурированных, так и из неструктурированных источников. Прочное партнерство под руководством Hafnia с участием Marfin Management, C Transport Maritime, Trans Sea Transport, BW Epic Kosan и Símbolo, позволяет Complexio достигать новых высот в решениях, управляемых ИИ.

Ключевые обязанности

👥 Сотрудничество в команде: Работа вместе с инновационными мультидисциплинарными командами над разработкой масштабируемых решений для данных, улучшающих возможности продукта и генерирующих важные деловые инсайты.

🔨 Разработка цепочек обработки данных: Построение и управление сложными цепочками обработки данных, облегчающими процессы сбора, ингестирования и трансформации данных.

🧑‍💻 Поддержка Исследований и Разработок: Предоставление необходимых данных для исследований и разработок в области науки о данных и ИИ, способствуя пионерским разработкам.

📈 Валидация и качество данных: Внедрение эффективных механизмов для обеспечения валидности, качества и надежности данных, чтобы поддерживать целостность и доверие к источникам данных.

🪲 Устранение неполадок: Диагностика и решение проблем, связанных с данными, для улучшения производительности системы и ее масштабируемости.

📖 Управление данными: Разработка строгих мер управления данными и безопасности для защиты конфиденциальной информации.

Требования к кандидату

Образование и опыт работы: Требуется минимум степень магистра в области компьютерных наук, инженерии или в смежных областях. Кандидаты должны иметь не менее 5 лет опыта работы именно в области инженерии данных или смежной области.

Техническая грамотность: Опыт работы с реляционными базами данных, такими как MySQL и PostgreSQL, умение обращаться с инструментами управления цепочками обработки данных и рабочими процессами, такими как sbt, Nifi, а также знакомство с технологиями обработки больших данных, включая Spark, имеют решающее значение. Понимание технологий потоковой передачи данных, таких как Kafka, архитектуры об