Staff Engineer, Data Analytics Engineering ( 6+ yrs Apache ,Spark ,Python and PySpark )

У Western Digital ми не просто формуємо майбутнє технологій; ми робимо колись неможливе можливим. Наша відданість інноваціям дозволяє нам відігравати життєво важливу роль у просуванні великих досягнень - від створення платформ, які роблять міста розумнішими, до систем, що полегшують з'єднання. Тепер ми шукаємо талановитого Інженера з аналітики даних для приєднання до нашої команди.

Western Digital - це динамічна сила в сфері технологій, відома своїм широким портфоліо технологій, пристроїв для зберігання даних та платформ для бізнесу та споживачів. Завдяки виштовхуванню меж технологій, ми пропонуємо рішення, зорієнтовані на дані, під брендами Western Digital®, G-Technology™, SanDisk®, та WD®. У міру розширення наші потреби в висококваліфікованих і інноваційних членах команди зростають.

Ми шукаємо Інженера з аналітики даних з міцним досвідом у ETL, Apache Spark та потоковій передачі даних в реальному часі. Для цієї ролі потрібно мати щонайменше 6 років досвіду розробки завдань ETL з використанням провідних інструментів ETL та підтверджений досвід обробки даних великого масштабу.

• Проектувати, розробляти та оптимізувати застосунки Apache Spark.
• Реалізовувати трансформацію даних за допомогою Spark RDDs і Data Frames.
• Розробляти та підтримувати конвеєри Apache Kafka для потокової передачі даних в реальному часі.
• Знання Python, PySpark, Scala, NIFI та SQL/Procedure є обов'язковими.
• Знайомство з Unix/Linux OS, базами даних Postgres, Redshift/Snowflake, а також інструментами CI/CD, такими як Jenkins, Docker, Kubernetes вважається перевагою.
• Створювати та розкладати завдання за допомогою Airflow, інтегрувати конвеєри даних з інструментами моніторингу на кшталт Splunk і Grafana.

Ідеальний кандидат повинен мати ступінь бакалавра в галузі комп'ютерних наук або інженер