PySpark Technical Lead

Spark
Other places
06/14/2024
-

Job expired!

Опис компанії:

Sopra Steria, провідна технологічна компанія в Європі, налічує 56 000 професіоналів майже в 30 країнах. Ми спеціалізуємося на консалтингу, цифрових послугах та розробці програмного забезпечення, сприяючи цифровій трансформації наших клієнтів для досягнення тривалих та сталих переваг. Пропонуючи комплексні рішення, ми підвищуємо конкурентоспроможність великих компаній та організацій, поєднуючи глибокі знання бізнесу з інноваційними технологіями та колективним підходом. Ми високо цінуємо людей і прагнемо використовувати цифрові інструменти для створення позитивного майбутнього. У 2023 році наші доходи досягли 5,8 мільярда євро. Світ - це те, як ми його формуємо.

Посада: PySpark технічний лідер

Необхідні навички:

Сильна експертиза в мовах програмування, таких як Python, Scala та інших.
Практичний досвід роботи з PySpark, включаючи основні функції Dataframe, SparkSQL, Spark Streaming, Hive, Hadoop, Kafka та YARN.
Досвід роботи з платформами великих даних у хмарі, переважно Azure.
Досвід роботи з Databricks та кодом у нотатниках.
Досвід роботи з Airflow та Apache NiFi.
Вміння обробляти та маніпулювати даними за допомогою SQL та коду Python.
Професійний досвід у впровадженні конвеєрів завантаження даних за допомогою Data Factory.
Експертиза у побудові та оптимізації конвеєрів даних, архітектур та наборів даних.
Знання у сфері чергування, обробки потоків та високомасштабованих сховищ даних.
Навчання користувачів, підтримка клієнтів та координація з крос-функціональними командами.
Написання сервісів з великим навантаженням на базу даних або API.
Сильне розуміння структурування коду для тестування.
Здібності виконувати оцінки, технічно керувати командою та моніторити та відстежувати дії.
Відмінні навички координації та комунікації з клієнтами.

Бажано:

Професійні сертифікації Data Engineer у Databricks.
Знання робочого процесу GIT та CI/CD Pipeline.
Досвід роботи в середовищі Azure DevOps.
Досвід роботи з практиками та методологіями Agile.
Досвід у проектах міграції (Scala/PySpark).
Гнучкість працювати у проєктах підтримки та розробки.

Загальний досвід роботи: 06-08 років

Кваліфікації:

B.E./B.Tech./MCA

Додаткова інформація:

У Sopra Steria ми прагнемо боротися проти всіх форм дискримінації. Ми сприяємо інклюзивному та поважному робочому середовищу для всіх відмінностей. Усі наші позиції відкриті для людей з інвалідністю.

Назва компанії: Sopra Steria

Наз