Sr. Data Engineer (Python/Spark)

Dołącz do renomowanego lidera w dziedzinie usług danych finansowych i ekonomicznych dla sektora bankowości inwestycyjnej. Poszukujemy doświadczonego Starszego Inżyniera Danych, który będzie integralną częścią zespołu naszego klienta. Uwaga: Ta rola dotyczy wyłącznie umów W2 lub indywidualnych; aplikacje C2C nie będą rozpatrywane.

Stanowisko jest w pełni zdalne. Do Twoich głównych obowiązków należeć będzie:

• Analizowanie wymagań systemowych w celu projektowania responsywnych algorytmów i rozwiązań.
• Budowanie wydajnych potoków ETL przy użyciu Spark.
• Wykorzystywanie technologii Big Data i chmurowych do tworzenia wysokiej jakości, gotowego do produkcji kodu.
• Angażowanie się w tuning wydajności i skalowania.
• Współpraca z członkami zespołu, współpracownikami i zarządem w celu identyfikacji kluczowych celów i ustalania priorytetów.
• Uczestniczenie w istotnych działaniach SDLC, takich jak planowanie sprintów i estymacja.
• Efektywne funkcjonowanie w małych, zwinnych zespołach.
• Dostarczanie innowacyjnych rozwiązań do złożonych problemów.
• Identyfikowanie możliwości poprawy i skuteczne ich wdrażanie.

Aby odnosić sukcesy na tym stanowisku, będziesz potrzebować:

• Powyżej 6 lat udokumentowanego doświadczenia zawodowego w branży IT.
• Doświadczenie z AWS EMR.
• Stopień naukowy w dziedzinie informatyki lub pokrewne.
• 3-5 lat udokumentowanego doświadczenia w budowaniu rozwiązań Big Data na chmurze AWS za pomocą PySpark, zwłaszcza w analizie danych.
• 3-5 lat doświadczenia w rozwijaniu aplikacji za pomocą Pythona.
• 3-5 lat doświadczenia w pracy z Spark.
• Praktyczne doświadczenie w tworzeniu rozwiązań inżynierii danych w Pythonie, wykorzystujących: S3, EMR, Glue, Athena, Kafka i notatniki.
• Praktyczne doświadczenie w budowaniu rozproszonych rozwiązań Big Data, w tym: ingestia, caching, przetwarzanie, konsumpcja i monitorowanie.
• Silne umiejętności komunikacyjne techniczne.

Dodatkowe umiejętności, które wyróżnią Cię spośród innych:

• Doświadczenie z technologiami Big Data i Open Source.
• Doświadczenie w metodyce Agile (Scrum).
• Udokumentowane doświadczenie w rozwijaniu aplikacji SaaS i API przy użyciu różnych narzędzi.
• Umiejętność przekształcania abstrakcyjnych wymagań biznesowych w konkretne plany techniczne.
• Silne zrozumienie algorytmów, struktur danych oraz architektury oprogramowania – w tym analizy złożoności czasowej i przestrzennej.
• Umiejętność szybkiego uczenia się i dostosowywania się do nowych technologii w przestrzeni Big Data.

Dziękujemy za rozważenie tej możliwości!

Firma: ASCENDING
Stanowisko: Starszy Inżynier Danych (Python/Spark)