PySpark Technical Lead

Описание компании:

Сопра Стерия, ведущая технологическая компания в Европе, нанимает 56 000 профессионалов в почти 30 странах. Мы специализируемся в области консалтинга, цифровых услуг и разработки программного обеспечения, способствуя цифровой трансформации наших клиентов для достижения устойчивых и долгосрочных преимуществ. Предлагая комплексные решения, мы повышаем конкурентоспособность крупных компаний и организаций, сочетая глубокие отраслевые знания с инновационными технологиями и совместным подходом. Мы высоко ценим людей и стремимся использовать цифровые инструменты для создания положительного будущего. В 2023 году наш доход составил 5,8 миллиарда евро. Мир – это то, как мы его создаем.

Должность: Технический лид PySpark

• Глубокие знания таких языков программирования, как Python, Scala и других.
• Практический опыт работы с PySpark, включая основные функции Dataframe, SparkSQL, Spark Streaming, Hive, Hadoop, Kafka и YARN.
• Опыт работы с облачными платформами больших данных, предпочтительно Azure.
• Опыт работы с Databricks и написания кода с использованием ноутбуков.
• Опыт работы с Airflow и Apache NiFi.
• Навыки обработки и манипулирования данными с помощью SQL и Python.
• Профессиональный опыт внедрения конвейеров загрузки данных с использованием Data Factory.
• Экспертиза в построении и оптимизации данных конвейеров, архитектур и наборов данных.
• Знание систем очередей, потоковой обработки и масштабируемых хранилищ данных.
• Обучение пользователей, поддержка клиентов и координация с кроссфункциональными командами.
• Написание служб или API с интенсивным использованием базы данных.
• Глубокое понимание структуры кода для обеспечения тестируемости.
• Способность выполнять оценки, технически руководить командой и отслеживать действия.
• Отличные навыки координации и общения с клиентами.

Желательно иметь:

• Профессиональные сертификации Data Engineer в Databricks.
• Знакомство с рабочим процессом GIT и конвейерами CI/CD.
• Опыт работы в среде Azure DevOps.
• Опыт работы с гибкими практиками и методологиями.
• Опыт выполнения миграционных проектов (Scala/PySpark).
• Готовность работать как в поддержке, так и в проектах разработки.

Ожидаемый общий опыт: 06-08 лет

Квалификация: B.E./B.Tech./MCA

Дополнительная информация:

В Сопра Стерия мы стремимся бороться со всеми формами дискриминации. Мы создаем инклюзивную и уважительную рабочую среду для всех различий. Все наши вакансии открыты для людей с инвалидностью.

Название компании: Сопра Стерия

Название должности: Технический лид PySpark