Senior Data Engineer - Assistant Manager

Резюме ролі:

Як старший інженер з даних, ви зіграєте ключову роль у формуванні нашої інфраструктури даних та ініціатив з аналітики в State Street. Ця позиція передбачає внесок у проєктування, розробку, покращення та обслуговування трубопроводів даних. Ви будете забезпечувати цілісність даних, масштабованість та безпеку у межах наших передових технологічних фреймворків.

Опис ролі:

State Street шукає талановитого архітектора даних з 5-8 роками практичного досвіду ETL та професійністю в розподілених обчислювальних фреймворках, таких як Apache Spark, Hadoop, і Hive. Особливо бажаний досвід роботи з платформою Azure. На цій посаді ви будете:

• Співпрацювати з зацікавленими сторонами для проєктування та підтримки надійних та масштабованих трубопроводів даних.
• Розробляти та оптимізувати моделі даних та схеми для аналітичного та операційного використання.
• Встановлювати стандарти якості даних та впроваджувати процеси управління даними.
• Створювати візуальні відображення даних, щоб допомогти бізнесу зрозуміти складну інформацію.
• Тісно співпрацювати з нашими командами інфраструктури та DevOps для підтримки надійності та продуктивності нашої інфраструктури даних.
• Досліджувати та оцінювати нові технології в галузі інженерії даних для підвищення наших можливостей обробки даних.

Кандидати на посаду старшого інженера даних повинні мати широкий досвід в інженерії даних, солідну експертизу в Scala або Python, та міцне практичне знання Spark Scala/PySpark і Spark SQL. Володіння SQL, PL/SQL, Unix Shell Scripting, та інструментами інтеграції даних є важливим. Також потрібен досвід роботи з реляційними та NoSQL базами дани