Старший инженер по данным

Описание компании

Мы ищем старшего инженера по данным, который возглавит небольшую команду, в процессе преобразования нашей простой платформы данных в облачный проект самообслуживания для аналитики.

КЛИЕНТ
Sigma Software предоставляет услуги разработки программного обеспечения, графического дизайна, тестирования и поддержки. Мы разработали системы, которые предоставляют клиентам из автомобильной, телекоммуникационной, авиационной, рекламной, игровой, банковской, недвижимости и здравоохранения отчетливые преимущества.

ПРОЕКТ
В рамках внутреннего проекта Sigma Software наши основные цели - автоматизация отчетности и создание системы самообслуживания для аналитики данных нашей компании.

На этой роли, ваши задачи будут включать проектирование и моделирование данных в DWH и Data Marts с использованием Spark и MS SQL. Эти данные затем будут доступны BI-инженерам, которые создают отчеты с помощью Apache Superset, а также другим пользователям, которые используют эти данные. Вы также будете работать с другими членами команды, которые зависят от этих данных. В дополнение к этому, к вашим обязанностям будет относиться перенос нашего решения на месте на облачную среду.

Описание работы

• Наша цель - создать надежную систему для сбора, обработки, анализа и визуализации большого объема данных из различных источников.
• Заложить основу и моделировать данные
• Разработать платформу для создания и управления конвейерами данных, которые собирают данные из различных источников
• Создать хранилище данных
• Сотрудничать с бизнес-аналитиками для анализа и подготовки описаний домена
• Создать Data Marts
• Разработать модель разрешений, которая обеспечивает гибкий контроль над вертикальным и горизонтальным доступом к данным

Квалификация

• Понимание основ аналитики данных, например, концепции мер измерения, ETL/ELT, инструменты отчетности, управление данными, хранилище данных, а также структурированные и неструктурированные данные.
• Значительные знания SQL и опыт работы с RDBMS, а также твердое понимание основ баз данных.
• Опыт разработки баз данных и моделирования данных, предпочтительно с использованием Databricks/Spark
• Опыт работы с Python
• Понимание форматов сериализации и их компромиссов (колоночные против строковых)
• Опыт отладки и оптимизации заданий Spark
• Отличные письменные и устные коммуникативные навыки
• Свободное владение английским языком
• Степень в области информатики или смежной области
• Опыт работы с инструментом бизнес-аналитики будет плюсом