Principal Developer - Data Integration Engineer - DevOps

Описание компании

В Western Digital мы не просто сдвигаем границы технологий; мы устанавливаем новые стандарты. Наша приверженность инновациям питает глобальный прогресс, превращая невозможное в реальность. Как решатели проблем, наша технология исторически позволяла достигать великих достижений, таких как приземление на Луну. Сегодня мы играем важную роль в развитии технологий за кулисами игровых платформ, умных городов, подключенных автомобилей и данных центров некоторых ведущих мировых корпораций.

Наше мощное портфолио — включая известные бренды, такие как Western Digital®, G-Technology™, SanDisk® и WD® — предлагает передовые решения, ориентированные на данные, как для бизнеса, так и для потребителей. Будь то просмотр сериалов за один присест, онлайн-шопинг или запечатление драгоценных моментов на карте памяти, Western Digital является невидимой опорой, поддерживающей эти возможности.

Присоединяйтесь к нам в Western Digital, где ваши уникальные навыки способствуют созданию яркого, умного будущего. Давайте вместе станем следующим большим словом в мире данных.

Описание должности

Ведущий Разработчик - Инженер по Интеграции Данных - DevOps

Основные обязанности и ответственность:

• Разработать и развернуть масштабируемые конвейеры интеграции данных, используя передовые облачные инструменты в соответствии с принципами дизайна Western Digital.
• Устранение неполадок и повышение производительности существующих конвейеров с использованием BASH, Python, Java.
• Создание надежных решений для обработки данных на платформе AWS EMR с использованием Java/Spark/Scala, оркестрация с помощью AirFlow.
• Оптимизация дизайна таблиц данных для быстрой загрузки и эффективного запроса.
• Улучшение процедур SQL и устранение проблем в базах данных Postgres и Redshift.
• Реализация рабочих процессов CI/CD с использованием инструментов вроде Bitbucket, Jenkins, Ansible и т.д.

Квалификация

Необходимое образование: Необходима степень бакалавра в области компьютерных наук или инженерии. Предпочтение отдается кандидатам со степенью магистра или сертификацией разработчика AWS. Дополнительные сертификации по методологиям жизненного цикла разработки программного обеспечения являются преимуществом.

Необходимый опыт: Не менее 8 лет работы в области интеграции/инженерии данных с доказанным опытом