Data Engineer II (Python and MongoDB)

Job expired!

Z doświadczonym zespołem 1 000 profesjonalistów ds. wywiadu, ponad 300 mln dolarów przychodów i globalną klientelą liczącą ponad 1 800 klientów, Recorded Future staje jako najbardziej zaawansowana i największa firma wywiadowcza na świecie.

W Recorded Future, pozyskujemy dane z publicznych platform internetowych i struktur danych, w tym publicznych forów, mediów społecznościowych oraz cyfrowych rynków. Jako Inżynier Danych, będziesz współpracować z zaangażowanym zespołem w celu budowy solidnych systemów przesyłu danych, które przekształcają surowe dane w praktyczne analizy do walki z zagrożeniami cybernetycznymi.

  • Prowadzenie rozwoju, produkcji i utrzymania ekstrakcji danych o dużej objętości za pomocą niestandardowych zaczerpnięć, API i magazynów danych.
  • Tworzenie dobrze monitorowanych produkcyjnych łańcuchów przesyłu danych w celu przekształcenia surowych danych w zorganizowaną, praktyczną wiedzę.
  • Utrzymanie i rozwijanie istniejących systemów przepływu produkcji danych.
  • Współpraca z inżynierami na różnych poziomach zaawansowania poprzez przeglądy projektów, przeglądy kodu, programowanie parami i najlepsze praktyki inżynieryjne.
  • 2+ lata doświadczenia w programowaniu w Pythonie i silne umiejętności debugowania.
  • Znajomość dużych, złożonych struktur danych i przekształcanie dużych zestawów danych w Pythonie.
  • Doświadczenie w zapytaniach do nowoczesnych magazynów danych takich jak MongoDB i ElasticSearch oraz w tworzeniu odpowiadających im API.
  • Zdolność do przeglądu, kwestionowania istniejącego kodu i sugerowania modyfikacji.
  • Doświadczenie w rozwoju oprogramowania przesyłowego i tworzeniu trwałych programów ETL.
  • Mocne rozumienie magazynów danych (MongoDB, ElasticSearch, S3, SQL) i ich przypadków użycia.
  • Umiejętność programowego ładowania dużych ilości strukturalnych danych za pomocą bibliotek naukowych Pythona, zarządzając przy tym ograniczeniami zasobów.
  • Tworzenie monitoringu przesyłu danych w Pythonie dla nowych i istniejących aplikacji.

Pracownicy Recorded Future, znani jako „Futuryści”, reprezentują ponad 40 narodowości i podtrzymują nasze podstawowe wartości, jakie są wysokie standardy, włączenie i etyczne postępowanie. Nasze zaangażowanie w umocnienie klientów inteligencją, aby zakłócać działania przeciwników, zapewniło nam ocenę 4,8 gwiazdki od Gartnera i lojalność 8 z 10 najlepszych firm z listy Fortune 100.

  • Blog & Podcast: Odkryj świat wywiadu dotyczącego zagrożeń cybernetycznych.
  • Śledź nas na Instagramie i Twitterze po najnowsze aktualizacje.
  • Czytaj