Inżynier Danych Spark Scala | Devoteam Maroko Nearshore

Opis Firmy

W Devoteam jesteśmy "Transformatorami cyfrowymi". Szacunek, uczciwość i pasja napędzają naszą społeczność każdego dnia.

Razem pomagamy naszym klientom wygrywać w cyfrowej bitwie: od doradztwa do implementacji innowacyjnych technologii, aż po przyjęcie ich w praktyce.

Chmura, cyberbezpieczeństwo, dane, DevOps, pełne rozwinięcie Dev, niski kod, RPA - dla naszej społeczności nie stanowią tajemnicy!

Nasi 10 000+ współpracowników są codziennie certyfikowani, szkoleni i wspierani, aby podjąć nowe innowacyjne wyzwania.

Jako lider w dziedzinie chmury, cyberbezpieczeństwa i danych w EMEA, Grupa Devoteam osiągnęła obrót na poziomie 1.036 miliardów euro w 2022 roku i zamierza go podwoić w ciągu najbliższych 5 lat.

Devoteam Maroko, od ponad 30 lat będący punktem odniesienia w dziedzinie IT (ponad 350 konsultantów), przyspiesza swój rozwój poprzez rozwijanie swojej działalności w zakresie bliskiego outsourcingu, aby zaspokoić potrzeby naszych klientów z Francji, Europy i Bliskiego Wschodu.

Czy jesteś gotów dołączyć do nas i razem podjąć to wyzwanie?

Opis Stanowiska

Inżynier Danych Spark Scala @ Devoteam Data Driven.

W świecie, w którym źródła danych ciągle się zmieniają, Devoteam Data Driven pomaga swoim klientom przekształcać swoje dane w informacje, które można wykorzystać, czyniąc je wpływowymi dla większej wartości biznesowej.

Data Driven adresuje następujące 3 główne wymiary: Strategię Danych, Dane dla Biznesu i Fundamenty Danych, dostarczając wsparcie w zakresie ekspertyzy swoim klientom, aby uczynić ich jeszcze bardziej efektywnymi i konkurencyjnymi na co dzień.

W ramach zespołów Nearshore Devoteam Maroko, dołączysz do plemienia Data Foundation: entuzjastycznej ekipy inżynierów danych, Data Ops, architektów Tech Lead oraz menedżerów projektów pracujących nad platformami i ekosystemem danych: projektowaniem, budowaniem i modernizacją platform i rozwiązań związanych z danymi, projektowaniem przepływów danych z naciskiem na zwinność i DevOps zastosowane do danych.

Będziesz niezbędnym łącznikiem w dostarczaniu wiarygodnych i cenionych danych do biznesu, umożliwiając mu tworzenie nowych produktów i usług, a także będziesz wspierać zespoły Data Science, dostarczając im niezbędne środowiska "datalab" do skutecznego prowadzenia swoich eksploracyjnych podejść w rozwoju i przemysłowieniu swoich modeli, a mianowicie:

• Projektowanie, rozwijanie i utrzymanie efektywnych przepływów danych do ekstrakcji, transformacji i załadunku danych z różnych źródeł do systemów przechowywania danych typu Lakehouse (datalake, datawarehouse)
• Pisanie kodu w Scala, często połączone z Apache Spark ze względu na jego zwięzłość i ekspresyjne cechy, w celu przeprowadzenia skomplikowanych transformacji na dużych wolumenach danych
• Wykorzystanie funkcji oferowanych przez Apache Spark, takich jak rozproszone transformacje i akcje, do szybkiego i efektywnego przetwarzania danych na dużą skalę
• Identycznienie i rozwiązywanie problemów z wydajnością w przepływach danych, optymalizowanie zapytań Spark, dostosowywanie konfiguracji Spark i implementując najlepsze praktyki.
• Współpraca z innymi zespołami w celu integracji przepływów danych z bazami danych SQL, noSQL, strumieniem Kafka, systemami plików typu "bucket"....
• W razie potrzeby projektowanie i implementowanie przepływów danych w czasie rzeczywistym za pomocą funkcji strumieniowania Spark
• Implementowanie mechanizmów zabezpieczeń do ochrony wrażliwych danych za pomocą funkcji uwierzytelniania, autoryzacji RBAC/ABAC, szyfrowania, anonymizacji danych
• Dokumentowanie kodu, przepływów danych, schematów danych i decyzji projektowych w celu zapewnienia ich zrozumienia i utrzymania
• Ustawianie testów jednostkowych i integracyjnych w celu zapewnienia jakości kodu oraz rozwiązywania wszelkich potencjalnych problemów z przepływami danych

Pokażesz swoje pełne umiejętności, opanowując swoje podstawowe techniczne, znajomość danych, które przetwarzasz i manipulujesz, a przede wszystkim poprzez wyrażanie swojego pragnienia zrozumienia potrzeb i biznesu, dla którego będziesz pracować.

Twoje miejsce zabawy: dystrybucja, energia, finanse, przemysł, zdrowie i transport z mnóstwem przypadków użycia i nowych wyzwań dotyczących danych do podjęcia razem, szczególnie danych w chmurze.

Czego oczekujemy od Ciebie.

• Że wierzysz w dane
• Że pomogłeś swojemu koledze
• Że jesteś miły dla swoich pracowników HR
• Że cieszysz się swoją misją
• I że Codingame Cię nie przeraża (nie będziesz sam: pomożemy Ci)

A poważniej:

• Że opanowałeś podstawy danych: technologie Hadoop, Spark, przepływy danych: inżestycja, przetwarzanie, wycena i ekspozycja danych
• Chciałbyś zainwestować w nowe paradygmaty danych: chmura, DaaS, SaaS, DataOps, AutoML i że zaangażujesz się z nami w tę przygodę.
• Lubisz pracę w trybie agile
• Produkujesz efektywne przepływy danych
• Utrzymujesz tę dualną kompetencję Dev & Infra
• Jesteś blisko biznesu, wspierasz go w definiowaniu jego potrzeb, jego nowych produktów i usług: na warsztatach, określając historie użytkowników i testując poprzez POC
• Twoja pasją jest kodowanie: pracujesz nad swoim kodem, angażujesz się w Open Source, bierzesz udział w konkurencjach, więc dołącz do nas.

Co my Ci oferujemy.

• Menedżera, który będzie z Tobą w każdej sytuacji
• Społeczność Data, gdzie znajdziesz swoje miejsce: Ideation Lab, Hackathon, Meetup...
• Szkolenia i certyfikacje za pomocą "myDevoteam Academy" na aktualne i przyszłe technologie: Databricks, Spark, Azure Data, Elastic.io, Kafka, Snowflake, GCP BigQuery, dbt, Ansible, Docker, k8s ...
• Zmocnienie twojej ekspertyzy w dziedzinie danych, aby stać się liderem techniki w chmurze (Azure, AWS, GCP ...), architektem przyszłych platform danych, ekspertem w zakresie DataOps na usługach biznesowych (Data as a Service), naukiem danych (AutoML), menedżerem biura danych odpowiedzialnym za projekty produktów danych, w skrócie – mnóstwo nowych stanowisk w perspektywie.
• Możliwość zainwestowania swoją osobę: być trenerem wewnętrznym, liderem społeczności, uczestniczyć w rozmowach kwalifikacyjnych z kandydatami, pomagać w rozwijaniu naszych ofert i dlaczego nie, zarządzać swoim własnym zespołem ...

Kilka przykładów misji.

• Projektowanie, implementacja i wsparcie przepływów danych
• Wdrażanie rozwiązań związanych z danymi w podejściu Agile i DevOps
• Rozwój API REST w celu eksponowania danych
• Wsparcie i ekspertyza w zakresie technologii danych i wdrożonych rozwiązań: Hadoop, Spark, Kafka, Elasticsearch, Snowflake, BigQuery, Azure, AWS...

Kwalifikacje

Jakie umiejętności powinien posiadać ktoś, kto chce dołączyć do zespołu?

• Tytuł inżyniera lub równoważny
• Ekspert w dziedzinie danych: 3 do 5 lat doświadczenia po studiach
• Doskonałe i udowodnione praktyki Apache Spark
• Doskonałe i udowodnione praktyki Scala
• Znajomość Python i pySpark
• Znajomość i praktyka korzystania z narzędzi do orkiestracji takich jak Apache Oozie, Apache Airflow, Databricks Jobs
• Certyfikacje będą dodatkowym atutem, szczególnie w zakresie Spark, Databricks, Azure, GCP
• Znajomość zasad ETL/ELT
• Korzystanie z narzędzi ETL/ELT takich jak Talend Data Integration, Apache Nifi, dbt są dodatkowym atutem
• Korzystanie z Kafka i Spark Streaming jest również dodatkowym atutem
• Dualna kompetencja dev (java, scala, python) infrastruktury (linux, ansible, k8s)
• Dobra znajomość REST API i mikrousług
• Znajomość narzędzi integrujących CI/CD (Jenkins, Gitlab) i praca w trybie agile
• Świetne relacje, polubisz pracę w zespole
• Wyraźne poczucie serwisu i zaangażowanie w swoje działania
• Umiejętność komunikacji i słuchania w każdych okolicznościach oraz pisania bez błędów…
• i biegłość w języku angielskim, rzeczywiście!

Dodatkowe informacje

Dodatkowe informacje.

• Stanowisko zlokalizowane w Maroko w naszych biurach w Rabacie i/lub Casablance i otwarte tylko na stałe umowy
• Stanowisko hybrydowe z możliwością pracy zdalnej
• Dołączając do Devoteam, będziesz miał okazję wymieniać się z rówieśnikami, dzielić się ich doświadczeniami i rozwijać swoje umiejętności, dołączając do społeczności Data Driven, która gromadzi konsultantów z 18 krajów Grupy

Zostańcie w kontakcie:

• https://www.linkedin.com/company/devoteam
• https://twitter.com/devoteam
• https://www.facebook.com/devoteam