Bigdata Cloud Developer - Spark - Assistant Manager
- Spark
- Other places
- 06/12/2024
- -
State Street, ведущий банк-хранитель и поставщик финансовых услуг, ищет квалифицированного разработчика облачных решений для Big Data, чтобы усилить нашу динамичную команду. Эта роль критически важна, поскольку мы продвигаемся в цифровой трансформации, используя передовые технологии, такие как облачные вычисления, ИИ и автоматизация роботизированных процессов.
В качестве разработчика облачных решений для Big Data, вы будете посвящать 80% своего времени практическому проектированию, разработке и архитектурным усилиям. Данная позиция требует профессионализма в области Spark на Scala, AWS и Databricks, при этом желательно иметь опыт в финансовых услугах и проектах, связанных с FCC. Вы будете управлять DataSync, DMS, DBFS Utils, кластерами, тетрадями и рабочими процессами, а также настраивать производительность для оптимизации процессов. Ваши навыки в области инженерии данных усилят наши проекты, поскольку вы будете работать независимо, с минимальным наблюдением, предлагая эффективные решения с гибкостью.
От кандидатов ожидается наличие по меньшей мере 8 лет опыта в сфере ИТ и 3 лет опыта в средах AWS/Databricks, наряду с солидным опытом разработки корпоративных приложений. Вы должны обладать обширным опытом в анализе данных, разработке ETL, проектировании и Spark на Scala. Владение Python для написания скриптов, оркестровки, а также знакомство с RDBMS, хранилищами данных и Unix Shell Scripts является критически важным. Мы ценим знания в финансовой сфере и отличные устные и письменные коммуникативные навыки. Опыт работы по гибкой методологии является обязательным.
К навыкам, которые обязательно должны быть, относятся Hadoop, Spark, Scala, программирование оболочек Unix, миграция в облако, AWS, Databricks, а также знания инструментов вроде SVN, GIT, JFrog, Jenkins, VeraCode, SQL и ETL. Навыки работы с Airflow и Quantexa будут преимуществом.
Глобальные техн