Data Engineering Lead

Архитектура и проектирование данных: Создание и внедрение масштабируемых и эффективных архитектур данных для поддержки потребностей организации в обработке данных. Тесное сотрудничество с межфункциональными командами для определения требований к данным и обеспечения того, чтобы решения по данным соответствовали бизнес-целям.

Разработка ETL: Контроль за разработкой надежных ETL-процессов для извлечения, преобразования и загрузки данных из различных источников в хранилище данных. Обеспечение качества и целостности данных на протяжении всего процесса ETL, внедрение передовых практик очистки и проверки данных.

Технологии больших данных: Отслеживание новых тенденций и технологий в области больших данных и аналитики, оценка их применимости к стратегии данных организации. Внедрение и оптимизация технологий больших данных для эффективной обработки и анализа больших наборов данных.

Интеграция с облаком: Сотрудничество с командой ИТ-инфраструктуры для интеграции решений по инженерии данных с облачными платформами, обеспечение масштабируемости, безопасности и производительности.

Мониторинг и оптимизация производительности: Внедрение инструментов и процессов для отслеживания производительности конвейеров данных и проактивного решения возникающих проблем. Оптимизация рабочих процессов обработки данных для повышения эффективности и использования ресурсов.

Документация: Ведение полноценной документации по процессам инженерии данных, моделям данных и архитектуре системы. Обеспечение соблюдения членами команды стандартов и передовых практик документации.

Сотрудничество и коммуникация: Сотрудничество с учеными данных, аналитиками и другими заинтересованными сторонами для понимания их потребностей в данных и предоставления решений, соответствующих этим требованиям. Эффективное общение с техническими и нетехническими заинтересованными сторонами, предоставление обновлений о состоянии проектов, проблемах и возможностях.

Степень бакалавра или магистра в области компьютерных наук, информационных технологий или смежных областях.

6-8 лет профессионального опыта в области инженерии данных.

Глубокие знания в области моделирования данных, процессов ETL и хранилищ данных.

Эксперт в создании хранилищ данных с использованием Snowflake.

Опыт в области поглощения данных, озёр данных, сетей данных и управления данными.

Владение программированием на Python.

Глубокое понимание технологий и фреймворков больших данных, таких как Hadoop, Spark и Kafka.

Опыт работы с облачными платформами, такими как AWS, Azure или Google Cloud.

Знание систем баз данных, включая SQL, NoSQL, и инструментов оркестрации конвейеров данных.

Отличные навыки решения проблем и аналитические способности.

Сильные коммуникативные и межличностные навыки.

Способность эффективно работать в совместной, динамичной среде.

Пожалуйста, подайте заявку на платформе Lifelancer по следующей ссылке для ускорения этапов отбора и получения быстрого ответа:

https://lifelancer.com/jobs/view/b381a7ab133a710f462ade7559501b9b