Data Engineer II (Python and MongoDB)

Job expired!

Зі вражаючою командою з 1,000 професіоналів у сфері розвідки, продажами понад $300 млн та глобальною клієнтською базою понад 1,800 клієнтів, Recorded Future стоїть як найбільша і найпросунутіша розвідувальна компанія у світі.

У Recorded Future ми отримуємо дані з публічних веб-платформ і структурованих даних, включаючи публічні форуми, соціальні медіа сайти та цифрові маркетплейси. Як Інженер з даними, ви співпрацюватимете з присвяченою командою для створення надійних потоків даних, які перетворюють сиру інформацію на прикладні аналітичні дані для боротьби з кібербезпекою.

  • Вести розробку, виробництво та обслуговування потоків великого обсягу даних через індивідуальні збирачі, API та бази даних.
  • Створювати добре відслідковувані виробничі потоки даних для перетворення сирої інформації в організовану, прикладну розвідку.
  • Підтримувати та покращувати існуючі системи потоків даних у виробництві.
  • Співпрацювати з інженерами-молодшими та старшими через перегляди дизайну, коду, парне програмування та кращі практики програмної інженерії.
  • 2+ роки досвіду програмування на Python та міцні навички налагодження.
  • Володіння великими, складними структурами даних і перетворення великих наборів даних у Python.
  • Досвід роботи з сучасними сховищами даних, такими як MongoDB і ElasticSearch, та розробка відповідних API.
  • Здатність переглядати, ставити під сумнів існуючий код і пропонувати модифікації.
  • Досвід в розробці програмного забезпечення для потоків та створенні стійких програм ETL.
  • Міцне розуміння сховищ даних (MongoDB, ElasticSearch, S3, SQL) та їх випадків застосування.
  • Спроможність програмно завантажувати великий обсяг структурованих даних за допомогою бібл