Principal Developer - Data Integration Engineer - ETL/DevOps

<p><strong>Описание компании</strong></p>
<p>В Western Digital мы не просто технологическая компания. Мы стимулируем глобальные инновации и переопределяем возможное, превращая идеи в реальность. Наша динамичная команда решателей проблем содействовала достижениям, начиная от предоставления технологии для высадки человека на Луну и заканчивая энергопитанием систем, требовательных к данным, которые оживляют умные города и связанные автомобили. Будучи ключевым партнером некоторых из самых захватывающих предприятий в мире, Western Digital топливо для более светлого, умного будущего с нашими центрированными на данных решениями под нашими признанными брендами: Western Digital®, G-Technology™, SanDisk® и WD®.</p>

<p><strong>Описание работы: Ведущий разработчик - Инженер по интеграции данных - ETL/DevOps</strong></p>

<p><strong>Основные обязанности и ответственность</strong></p>
<ul>
<li>Разрабатывать, тестировать и развертывать масштабируемые конвейеры интеграции данных, используя инструменты на базе облака в соответствии с нашими принципами проектирования.</li>
<li>Эффективно устранять неполадки и оптимизировать производительность существующих конвейеров, используя BASH, Python и Java.</li>
<li>Проектировать и внедрять новые конвейеры данных на AWS EMR, используя Java/Spark/Scala, и управлять рабочими процессами с помощью AirFlow.</li>
<li>Улучшать структуру таблиц данных для более быстрой загрузки и оптимальной производительности запросов.</li>
<li>Отлаживать и оптимизировать SQL-запросы и хранимые процедуры в Postgres и Redshift.</li>
<li>Использовать управление исходным кодом на основе git через Bitbucket и использовать инструменты CI/CD, включая Jenkins и Ansible, для надежных стратегий развертывания.</li>
</ul>

<p><strong>Требования к квалификации</strong></p>
<ul>
<li>Степень бакалавра в области компьютерных наук или инженерии, предпочтительно магистра.</li>
<li>Наличие сертификации AWS Developer очень желательно.</li>
<li>Подтвержденный опыт (более 8 лет) в интеграции/инженерии данных с комплексным знанием облачных и локальных инструментов ETL.</li>
<li>Экспертиза в BASH, Python, Java, а также опыт работы с программами Spark/Scala на AWS EMR.</li>
<li>Знание инст