Инженер по данным

Обзор работы Мы ищем высококвалифицированного старшего инженера по данным для присоединения к нашей ориентированной на данные команде. Идеальный кандидат должен быть экспертом в области инженерии данных с богатым опытом использования таких инструментов и языков, как AWS S3, Pentaho, AWS API, Snowflake, хранилища данных, процессы ETL/ELT, AWS Code Commit, AWS Code Deploy, AWS Code Build, Looker, Shell script и Python. В этом роли предполагается создание, поддержание и оптимизация архитектуры данных, конвейеров и наборов данных, чтобы отвечать разнообразным потребностям нашего бизнеса. Обязанности Архитектура и дизайн данных: - Проектирование, построение, настройка и поддержка масштабируемых и надежных архитектур данных. - Работа с Snowflake и AWS для эффективных решений по хранению данных. Интеграция данных: - Разработка, тестирование и поддержка процессов ETL/ELT с использованием Pentaho. - Построение надежных конвейеров данных для поддержки аналитических и научных инициатив. Развертывание и автоматизация данных: - Использование AWS Code Commit, AWS Code Deploy и AWS Code Build для плавного развертывания и автоматизации. - Реализация проверок качества данных, мониторинга и валидации. Сотрудничество и поддержка: - Совместная работа с аналитиками данных, учеными в области данных и другими заинтересованными сторонами. - Поддержка деловых пользователей с Looker для визуализации данных и проницательности. - Обеспечение наставничества и руководства для младших инженеров по данным. Скриптинг и разработка: - Использование Python и Shell scripting для создания и автоматизации задач обработки данных. Квалификация: - Бакалавр или магистр в области информатики, инженерии или смежной области. - Более 5 лет практического опыта в области инженерии данных. - Знание следующих технологий: - AWS S3, Pentaho, AWS API, Snowflake, AWS Code Commit, AWS Code Deploy, AWS Code Build. - Значительный опыт работы с хранилищами данных, процессами ETL/ELT. - Владение Python, Shell script и Looker. - Сильные навыки решения проблем, внимание к деталям и способность работать в быстром темпе. Требования Основное внимание на 3 вещи: - Snowflake - Pentaho - S3