Principal Developer - Data Integration Engineer - DevOps

Опис компанії

У Western Digital ми не лише зміщуємо межі технологій; ми встановлюємо нові стандарти. Наше прагнення до інновацій спонукає глобальний прогрес, перетворюючи неможливе на реальність. Як розв'язувачі проблем, наша технологія історично дозволяла здійснити величезні досягнення, такі як приземлення на Місяці. Сьогодні ми відіграємо вирішальну роль у розробці технологій для ігрових платформ, розумних міст, з'єднаних транспортних засобів та дата-центрів деяких з провідних корпорацій світу.

Наш потужний портфель — до якого належать відомі бренди, такі як Western Digital®, G-Technology™, SanDisk® та WD® — пропонує передові рішення, орієнтовані на дані, як для бізнесу, так і для споживачів. Чи це перегляд серіалів на одному диханні, онлайн-шопінг, чи захоплення дорогоцінних моментів на карті пам'яті, Western Digital є невидимою опорою, що підтримує ці досвіди.

Розпочніть подорож з нами в Western Digital, де ваші унікальні навички сприяють створенню яскравішого, розумнішого майбутнього. Давайте разом станемо наступною великою річчю в світі даних.

Опис вакансії

Головний розробник - Інженер із інтеграції даних - DevOps

Основні обов'язки та відповідальність:

• Розробка та розгортання масштабованих пайплайнів інтеграції даних із використанням найсучасніших хмарних інструментів відповідно до принципів дизайну Western Digital.
• Вирішення проблем і підвищення продуктивності існуючих пайплайнів із використанням BASH, Python, Java.
• Створення надійних рішень для даних на платформі AWS EMR із використанням Java/Spark/Scala, оркестрованих за допомогою AirFlow.
• Оптимізація дизайну таблиць даних для швидкого завантаження і ефективного запиту.
• Удосконалення процедур SQL і відлагодження проблем у базах даних Postgres і