Staff Engineer, Data Analytics Engineering ( 6+ yrs Apache ,Spark ,Python and PySpark )

В компании Western Digital мы не просто формируем будущее технологий; мы делаем ранее невозможное возможным. Наша приверженность инновациям позволяет нам играть ключевую роль в реализации крупных достижений — от создания платформ, делающих города умнее, до систем, обеспечивающих легкость связи. Теперь мы ищем талантливого Старшего инженера по инженерии данных и аналитике, чтобы присоединиться к нашей команде.

Western Digital — динамичная сила в области технологий, известная своим широким портфелем технологий, устройств хранения данных и платформ как для бизнеса, так и для потребителей. Преодолевая границы технологий, мы предоставляем решения, ориентированные на данные, под брендами Western Digital®, G-Technology™, SanDisk® и WD®. По мере нашего развития растет и наша потребность в высококвалифицированных и инновационных сотрудниках.

Мы ищем Старшего инженера по инженерии данных и аналитике с сильным опытом работы в ETL, Apache Spark и обработке данных в реальном времени. Для этой роли требуется не менее 6 лет опыта разработки ETL заданий с использованием ведущих инструментов ETL и подтвержденный опыт обработки данных в больших масштабах.

• Разработка, оптимизация приложений Apache Spark.
• Реализация трансформации данных с использованием Spark RDDs и Data Frames.
• Разработка и поддержка пайплайнов Apache Kafka для обработки данных в реальном времени.
• Необходимы знания Python, PySpark, Scala, NIFI и SQL/Procedure.
• Желателен опыт работы с Unix/Linux OS, базами данных Postgres, Redshift/Snowflake и инструментами CI/CD, такими как Jenkins, Docker, Kubernetes.
• Создание и расписание задач с использованием Airflow, интеграция пайплайнов данных с инструментами мониторинга, такими как Splunk и Grafana.

Идеальный кандидат должен иметь степень бакалавра в области компьютерных наук или инженерии, при этом предпочтение отдается магистру. Сертификация разработчика AWS, а также любые сертификации по методологиям SDLC будут преимуществом.

В Western Digital мы создаем среду, способствующую инклюзивности, которая поддерживает разнообразие и инновации. Мы полагаем, что смешение различных точек зрения приводит к лучшим результатам не только для нашей команды, но и для технологий, которые мы создаем. Мы стремимся поддерживать всех наших сотрудников через разнообразное и инклюзивное рабочее пространство.

Если у вас есть навыки и страсть к технологиям, мы приглашаем вас присоедин