Старший инженер по данным

CloudFactory ищет высококвалифицированного и опытного старшего инженера по данным, который присоединится к нашей динамичной команде. Как мировой лидер в соединении людей и технологий для предложения облачного решения для рабочей силы, CloudFactory реализует многочисленные проекты по обучению с учителем и основной обработке бизнес-данных. Мы стремимся создавать экономические и руководящие возможности для талантливых людей в развивающихся странах. Занимая должность старшего инженера по данным в CloudFactory, вы играете важную роль в развитии и поддержке нашей инфраструктуры данных, поддерживая наши растущие операции. У вас будет возможность работать с передовыми технологиями и работать вместе с разнообразной и увлеченной командой, чтобы увеличить наши возможности по обработке данных. Если вас вдохновляет идея внесения изменений в мир через влиятельную работу, вы любите строить отношения и процветаете в составе слаженной команды, то CloudFactory - это для вас. Обязанности: Успешный кандидат превратит требования пользователей в действенные выводы, используя существующие инструменты и технологии. Ваши обязанности будут включать: -Регулярный контакт с руководителями проектов/заинтересованными сторонами, чтобы понять их потребности. -Исследование для проверки исполнения требований с использованием существующих технологий и ресурсов данных. -Извлечение данных с помощью Python и других инструментов, таких как Fivetran. -Моделирование данных с помощью SQL и концепции звездной и снежинки-схемы. -Помощь в выборе с целью оптимизации стоимости и производительности внутри хранилища данных. -Объяснение логики и обоснования, стоящих за мнениями, для помощи в принятии оптимальных решений. -Написание систем контроля качества данных и сбора метаданных внутри конвейеров данных для повышения наблюдательности и восстанавливаемости конвейеров. -Написание модульных и интеграционных тестов для повышения надежности системы. -Наставничество и тьюторство. Техстек: Наш технологический стек включает: -Инструменты для извлечения данных и оркестровки - Fivetran, Prefect -Инструмент для моделирования данных - DBT -Хранилище данных - Snowflake -Проверка качества данных - DBT, Elementary -Визуализация данных - Tableau и Quicksight -Каталог данных и происхождение - Atlan -Управление исходным кодом - Github -Инфраструктура как код - Terraform -Язык программирования - Python -Сервисы AWS (ECS, S3) Процесс собеседования: Кандидатам предложат пройти вступительное тестирование по кодированию и аналитическому мышлению, затем собеседование со старшим менеджером по продуктам, где они обсудят предыдущие проекты, включая выбранные подходы и достигнутые результаты. Успешные кандидаты затем встретятся с директором по инженерии, а затем проходят последнее собеседование с CTO. Процесс займет от 1 до 2 недель. Требования: Идеальный кандидат должен обладать: -Минимум 4 года опыта работы как инженер по данным. -Экспертными навыками в SQL в контексте создания и управления корпоративным хранилищем данных. -Умением работать с оркестровкой данных и связанными инструментами в контексте транспортировки данных. -Компетентностью в работе с OLAP-системами и связанными с ними вариантами использования. -Умением извлекать данные из исходных систем с использованием Python. -Глубоким пониманием и умением работать с MPP-архитектурами. -Умением моделировать данные с использованием Kimball, Inmon или Data Vault. -Способностью писать модульные и интеграционные тесты. -Пониманием микросервисов и событийно-управляемых систем. -Отличные коммуникационные навыки, способность преобразовывать сложные данные в понятные выводы и рассказы.