Data Engineer (Pyspark and Python)

Gainwell Technologies шукає захопленого та кваліфікованого інженера з даних із знанням Apache Spark та AWS для підсилення наших можливостей аналітики даних. Якщо ви маєте хист до створення надійних рішень для даних і процвітаєте в динамічному середовищі, ми запрошуємо вас приєднатися до нашої місії в Gainwell Technologies.

Будучи частиною нашої команди аналітики даних, ваші обов'язки включатимуть:

• Проектування, розробку та розгортання ефективних трубопроводів даних і процесів ETL, використовуючи фреймворк Apache Spark.
• Моніторинг, управління та забезпечення точності та цілісності процесів екстракції, трансформації та завантаження даних.
• Створення безпечних і складних баз даних, які віддають пріоритет доступності, безпеці та зручності використання.
• Координація з користувачами для визначення потреб у даних, зосереджуючись на якості, послідовності та відповідності.
• Співпраця над моделями даних і схемами в нашому сховищі даних.
• Документування відображень даних від джерела до місця призначення та концептуалізація фреймворків візуалізації даних.
• Ефективне спілкування як з внутрішніми, так і з зовнішніми зацікавленими сторонами для досягнення цілей проєкту.

Наш ідеальний кандидат володітиме:

• Дипломом бакалавра в галузі комп'ютерних наук або суміжній галузі.
• Щонайменше 14 роками професійного досвіду, у тому числі 7+ років у процесах ETL/архітектурі даних.
• 5+ років досвіду роботи з технологіями великих даних на платформах, таких як AWS, Azure або GCP.
• Глибокі знання фреймворку Apache Spark/DataBricks, вміння програмування на Python або Scala.
• Розуміння різних структур баз даних, таких як транзакційні бази даних порівняно зі сховищами даних. <