Data Engineer (Mid Level)

O nas: W Optimism, pionierskim wydawnictwie cyfrowym, zobowiązani jesteśmy do tworzenia jaśniejszego internetu. Nasz innowacyjny zespół uruchamia i zarządza wiodącymi markami cyfrowymi, mającymi na celu pobudzanie ciekawości, szerzenie pozytywnych treści i poprawę codziennego życia naszej publiczności. Przyjmując strategię skoncentrowaną na e-mailu, przekształcamy Twoją skrzynkę odbiorczą w orzeźwiającą alternatywę dla zatłoczonych kanałów w mediach społecznościowych, dostarczając spersonalizowane wiadomości, informacje i rozrywkę. Nasze zróżnicowane portfolio obejmuje kategorie takie jak Styl życia, Gry, Cuda oraz Podróże, docierając do ponad 3 milionów subskrybentów i generując ponad 30 milionów sesji miesięcznie na stronach internetowych.

W sercu Optimism, dane napędzają nasze podejmowanie decyzji i kreatywność. Jako Inżynier Danych, będziesz odgrywać kluczową rolę w zarządzaniu cyklem życia danych. Pracując blisko w ramach naszego zespołu inżynierów, będziesz mieć unikalną możliwość bezpośredniego raportowania zarówno do Głównego Inżyniera, jak i Szefa Inżynierii w Pardon Ventures.

• Projektowanie i utrzymanie bezserwerowych aplikacji Go dla efektywnej dostawy danych.

• Współpraca z zespołami inżynieryjnymi w celu aktualizacji i rozszerzenia stosu API dostosowanego do optymalnej dostawy danych.

• Udoskonalanie i zachowywanie istniejących łańcuchów przetwarzania ETL, wykorzystując Scio (Apache Beam + Google Cloud Dataflow + Scala).

• Tworzenie nowych łańcuchów przetwarzania danych i integrowanie nowych źródeł danych, strumieniowanie danych API w czasie rzeczywistym do BigQuery i rewolucjonizowanie istniejących struktur danych.

• Aggregowanie i standaryzacja danych z różnorodnych źródeł w celu zapewnienia wysokiej dostępności i spójności.

• Wykorzystywanie stosu danych do spełniania żądań różnych interesariuszy biznesowych, zwiększając wgląd w biznes i efektywność operacyjną.

• Używanie narzędzi CI do bezproblemowego wdrażania oprogramowania i łańcuchów przetwarzania danych.

• Monitorowanie procesów danych przez logi Google Cloud Platform (GCP) w celu zapewnienia optymalnej dostawy, rozwiązywania problemów i analizowania historycznych trendów aplikacji.

• Ciągłe doskonalenie jakości danych przez współpracę z interesariuszami w celu dopasowania wyjść danych do potrzeb biznesowych.

• Znajomość SQL i co najmniej jednego języka programowania.

• Doświadczenie z BigQuery lub podobnymi platformami.

• Wiedza na temat architektury zdarzeniowej i łańcuchów przetwarzania danych.

• Doświadczenie z technologiami chmurowymi, szczególnie z AWS i GCP.

• Z