Data Engineer

Обзор компании:

Blue Orange Digital - ведущая компания по трансформации данных в облаке и разработке предиктивной аналитики с офисами в Нью-Йорке и Вашингтоне. Мы обслуживаем разнообразный круг клиентов - начиная от инновационных стартапов до устоявшихся компаний из списка Fortune 500, используя современные методы анализа данных, визуализации и ИИ/МО. Основаны инженерами, мы горим страстью к технологиям и данным. Наша стартаповая ДНК гарантирует, что каждый член команды вносит непосредственный вклад в рост нашей компании.

Blue Orange Digital активно ищет квалифицированного инженера данных, чтобы усилить нашу практику инженерии данных. Эта роль требует разнообразного набора навыков, включая администрирование систем, DevOps, автоматизацию инфраструктуры, моделирование данных и организацию потоков работ. Мы разрабатываем комплексные платформы и системы данных для различных клиентов, поэтому знание современных технологий данных имеет ключевое значение. Идеальный кандидат будет знаком с множеством технологий и сред для инженерии данных, особенно с Azure DevOps, Databricks и Python.

Основные обязанности:

• Сотрудничать с командами данных для проектирования, создания и развертывания облачных платформ данных (Azure, AWS, GCP) и автоматизации их работы.
• Использовать Azure DevOps, Azure Pipelines, Terraform, CloudFormation и другие инструменты автоматизации для создания надежных систем.
• Разрабатывать высокопроизводительные конвейеры данных с использованием Databricks, Spark, Python и других инструментов оркестрации/ETL.
• Обеспечивать лидерство в лучших практиках разработки программного обеспечения, включая CI/CD, инфраструктуру как код и автоматизированное тестирование.
• Поддерживать гетерогенные технологические среды, включая системы на базе Windows и Linux.
• Создавать повторяемые, автоматизированные процессы и пользовательские инструменты.
• Выполнять другие обязанности по указанию вашего менеджера.

Требования:

• Степень BA/BS в области компьютерных наук или смежной технической области, либо эквивалентный практический опыт.
• Минимум 2 года опыта в создании и поддержке платформ данных.
• Знание технологий данных, таких как Azure Data Factory, Azure Synapse Analytics, Airflow, Spark и т.д.
• Опыт работы с облачными платформами данных, включая Snowflake и Databricks.
• Продвинутые навыки в Python, SQL и Bash.
• Опыт в проектировании и построении надежных CI/CD конвейеров.
• Сильные навыки администрирования систем на базе Linux.
• Уверенность в работе с Docker, управлением конфигурацией и инструментами мониторинга.
• Знание лучших практик, связанных с безопасностью, производительностью и восстановлением после сбоев.
• Опыт работы в облачных средах, особенно Azure и AWS.
• Коллаборативный подход к архитектуре и совместному использованию дизайна.
• Отличные устные и письменные навыки общения на английском языке.
• Здравый смысл, хорошее чувство юмора и справедливость в условиях быстрой работы.

Предпочтительные квалификации:

• Сертификации в Azure DevOps, Azure Data Fundamentals, Databricks, Snowflake.

Преимущества:

• Полностью удаленная работа.
• Гибкий график.
• Неограниченный оплачиваемый отпуск (PTO).
• Оплачиваемый отпуск по уходу за ребенком / в связи с потерей близкого.
• Возможность работать с именитыми клиентами для повышения своих навыков и резюме.
• Отличная команда для