PySpark Technical Lead

Opis firmy:

Sopra Steria, wiodąca firma technologiczna w Europie, zatrudnia 56 000 profesjonalistów w niemal 30 krajach. Specjalizujemy się w doradztwie, usługach cyfrowych i rozwoju oprogramowania, napędzając transformację cyfrową naszych klientów, aby osiągnąć trwałe i zrównoważone korzyści. Oferując kompleksowe rozwiązania, zwiększamy konkurencyjność dużych firm i organizacji, łącząc dogłębną wiedzę biznesową z innowacyjnymi technologiami oraz podejściem opartym na współpracy. Wysoko cenimy ludzi i jesteśmy oddani wykorzystywaniu narzędzi cyfrowych do tworzenia pozytywnej przyszłości. W 2023 roku nasze przychody wyniosły 5,8 miliarda euro. Świat jest taki, jakim go kształtujemy.

Stanowisko: PySpark Technical Lead

Wymagane umiejętności:

• Silna znajomość języków programowania, takich jak Python, Scala i inne.
• Praktyczne doświadczenie z PySpark, w tym podstawowe funkcje DataFrame, SparkSQL, Spark Streaming, Hive, Hadoop, Kafka i YARN.
• Biegłość w platformach chmurowych big data, najlepiej Azure.
• Doświadczenie z Databricks i kodowaniem za pomocą notebooków.
• Doświadczenie z Airflow i Apache NiFi.
• Biegłość w przetwarzaniu i manipulowaniu danymi za pomocą SQL i kodu w Pythonie.
• Profesjonalne doświadczenie we wdrażaniu przepływów danych z użyciem Data Factory.
• Ekspertyza w budowaniu i optymalizacji przepływów danych, architektur i zbiorów danych.
• Znajomość kolejkowania, przetwarzania strumieniowego i wysoce skalowalnych magazynów danych.
• Szkolenie użytkowników, wsparcie klienta oraz koordynacja z zespołami międzyfunkcyjnymi.
• Pisanie usług lub API z dużym obciążeniem bazy danych.
• Silne zrozumienie struktury kodu pod kątem testowalności.
• Umiejętność szacowania, prowadzenia zespołu technicznie oraz monitorowania i śledzenia działań.
• Doskonałe umiejętności koordynacji i komunikacji z klientami.

Mile widziane:

• Profesjonalne certyfikaty inżynieryjne z zakresu danych w Databricks.
• Znajomość przepływu pracy GIT oraz CI/CD Pipelines.
• Doświadczenie z środowiskiem Azure DevOps.
• Doświadczenie z praktykami i metodami Agile.
• Doświadczenie w projektach migracyjnych (Scala/PySpark).
• Elastyczność w pracy zarówno w projektach wsparcia, jak i rozwojowych.

Oczekiwane doświadczenie całkowite: 06-08 lat

Kwalifikacje:

B.E./B.Tech./MCA

Dodatkowe informacje:

W Sopra Steria jesteśmy zaangażowani w walkę ze wszelkimi formami dyskryminacji. Tworzymy inkluzywne i szanujące środowisko pracy dla wszystkich różnic. Wszystkie nasze stanowiska są otwarte dla osób z niepełnosprawnościami.

Nazwa firmy: Sopra Steria

Stanowisko: PySpark Technical Lead