Data Engineer - IN (Databricks & SQL)

Огляд роботи: У компанії Rackspace Technology ми шукаємо вмілого інженера з даних, який буде створювати, підтримувати та поліпшувати наш Репозиторій Фінансових Даних (FDR). Як ключовий член нашої команди, ви будете співпрацювати з архітекторами та керівниками поставок щодня, зосереджуючись на розробці та експлуатації даних пайплайнів.

• Аналізувати та організовувати сирі дані.
• Проектувати, будувати та підтримувати пайплайни даних як пакетні, так і в реальному часі.
• Розробляти процеси ETL та підготовлювати дані згідно з вимогами стандартизації, трансформації та інтеграції.
• Створювати стандартизовані пайплайни у співпраці з нашою командою DevSecOps та архітекторами.
• Побудова та використання повторно використовуваних компонентів для ефективного управління даними.
• Досліджувати стратегії для підвищення якості та надійності даних.
• Здійснювати надходження даних з різних джерел з різними механізмами інтеграції, такими як RDBMS, API та події.
• Використовувати контролі над даними для забезпечення приватності, безпеки, відповідності та якості в призначених областях.

• Щонайменше 8 років досвіду роботи як інженер з даних.
• Поглиблені знання у сфері моделей даних та джерел даних, включно з витонченими навичками SQL.
• Знання мов програмування, такі як Python, PySpark та SQL.
• Практичний досвід у проектуванні баз даних і безпосередня робота з Azure Databricks, ADLS та іншими технологіями Azure.

Ми гордо вважаємося експертами з рішень для багатох хмар, інтегруючи наш досвід з провідними технологіями у світі застосунків, даних та безпеки. Ми пропонуємо комплексні рішення, масштабуємо їх та оптимізує