Data Engineer

Огляд компанії:

Blue Orange Digital є провідною компанією в галузі хмарних перетворень даних та розробки прогнозної аналітики, з офісами в Нью-Йорку та Вашингтоні, округ Колумбія. Ми обслуговуємо різноманітний спектр клієнтів, від інноваційних стартапів до усталених компаній з рейтингу Fortune 500, використовуючи сучасні методи аналітики даних, візуалізації та AI/ML. Заснована інженерами, наша компанія має пристрасть до технологій та даних. Наше стартап-ДНК гарантує, що кожен член команди безпосередньо сприяє зростанню нашої компанії.

Blue Orange Digital активно шукає кваліфікованого Інженера з даних, щоб посилити нашу практику інженерії даних. Ця роль вимагає різноманітного набору навичок, включаючи системне адміністрування, DevOps, автоматизацію інфраструктури, моделювання даних та впорядкування робочих процесів. Ми розробляємо комплексні платформи та системи даних для різних клієнтів, тому володіння сучасними технологіями обробки даних є обов'язковим. Ідеальний кандидат буде обізнаний у кількох технологіях та середовищах інженерії даних, особливо з Azure DevOps, Databricks та Python.

• Співпраця з командами даних для розробки, побудови та розгортання хмарних платформ даних (Azure, AWS, GCP) та автоматизації їх роботи.
• Використання Azure DevOps, Azure Pipelines, Terraform, CloudFormation та інших інструментів автоматизації для створення надійних систем.
• Розробка високопродуктивних конвеєрів даних за допомогою Databricks, Spark, Python та інших інструментів оркестрації/ETL.
• Надання лідерства у найкращих практиках розробки програмного забезпечення, включаючи CI/CD, інфраструктуру як код та автоматизоване тестування.
• Підтримка гетерогенних технологічних середовищ, включаючи як системи Windows, так і Linux.
• Створення багаторазових, автоматизованих процесів та спеціальних інструментів.
• Виконання інших завдань за вказівкою вашого менеджера.

• Ступінь бакалавра/магістра з комп'ютерних наук або суміжної технічної галузі, або рівноцінний практичний досвід.
• Мінімум 2 роки досвіду в побудові та підтримці платформ даних.
• Знайомство з технологіями даних, такими як Azure Data Factory, Azure Synapse Analytics, Airflow, Spark тощо.
• Досвід роботи з хмарними платформами даних, включаючи Snowflake та Databricks.
• Високий рівень володіння Python, SQL та Bash-скриптами.
• Досвід у проектуванні та побудові надійних CI/CD конвеєрів.
• Сильні навички адміністратора систем Linux.
• Комфортний рівень роботи з Docker, інструментами керування конфігурацією та моніторингу.
• Знання найкращих практик, пов'язаних із безпекою, продуктивністю та відновленням після катастроф.
• Досвід роботи у хмарних середовищах, зокрема Azure та AWS.
• Колаборативний підхід до архітектури та обміну проектами.
• Відмінні вербальні та письмові навички ком