Principal Developer - Data Integration Engineer - ETL/DevOps

Опис компанії

У Western Digital ми не просто технологічна компанія. Ми спонукаємо до глобальних інновацій і перевизначаємо можливості, перетворюючи ідеї в реальність. Наша динамічна команда розв'язувачів проблем дозволила досягти успіхів від надання технології для висадки людини на Місяць до забезпечення даними систем, які оживляють розумні міста та підключені автомобілі. Будучи ключовим партнером деяких з найзахопливіших підприємств у світі, Western Digital сприяє яскравішому, розумнішому майбутньому за допомогою наших рішень, орієнтованих на дані, під нашими визнаними брендами: Western Digital®, G-Technology™, SanDisk® та WD®.

Опис роботи: Головний розробник - Інженер з інтеграції даних - ETL/DevOps

Основні обов'язки та відповідальність

• Розробка, тестування та розгортання масштабованих конвеєрів інтеграції даних за допомогою інструментів, заснованих на хмарних рішеннях, відповідно до наших принципів проектування.
• Ефективне усунення проблем та оптимізація продуктивності існуючих конвеєрів за допомогою BASH, Python і Java.
• Проектування та впровадження нових конвеєрів даних на AWS EMR, використовуючи Java/Spark/Scala, і управління робочими процесами за допомогою AirFlow.
• Покращення розміщення таблиць даних для швидшого завантаження та оптимальної продуктивності запитів.
• Відладка та оптимізація SQL-виразів та зберіганих процедур у Postgres і Redshift.
• Використання контролю версій на основі git через Bitbucket та використання інструментів CI/CD, включаючи Jenkins і Ansible для розробки надійних стратегій розгортання.

Кваліфікація

• Ступінь бакалавра в галузі комп'ютерних наук або інженерії, магістр вітається.
• Сертифікат розробника AWS високо цінується.
• Міцний досвід (8+ років) в інтеграції/інж