Data Engineer II (Python and MongoDB)

С впечатляющей командой из 1000 профессионалов в области разведки, продажами более $300M и глобальной клиентской базой более 1800 клиентов, Recorded Future занимает место самой продвинутой и крупнейшей разведывательной компании в мире.

В Recorded Future мы собираем данные с публичных веб-платформ и структурированных потоков данных, включая публичные форумы, социальные сети и цифровые рынки. Будучи инженером по данным, вы будете сотрудничать с преданной командой для создания надежных данных, преобразовывая сырые данные в действенную аналитику для борьбы с угрозами кибербезопасности.

• Возглавить разработку, производство и поддержку высокопроизводительного извлечения данных через специализированные сборщики, API и хранилища данных.
• Создать хорошо мониторируемые производственные потоки данных для преобразования сырых данных в организованную, действенную разведку.
• Поддерживать и улучшать существующие системы производства потока данных.
• Сотрудничать с младшими и старшими инженерами на этапах проектирования, рецензирования кода, парного программирования и лучших практиках программной инженерии.

• Опыт программирования на Python более 2 лет и отличные навыки отладки.
• Знание больших, сложных структур данных и преобразование больших наборов данных на Python.
• Опыт работы с запросами к современным системам хранения данных, таким как MongoDB и ElasticSearch, и разработка соответствующих API.
• Способность анализировать, критиковать существующий код и предлагать модификации.
• Опыт в разработке программного обеспечения для пайплайнов и создании крепких программ ETL.
• Глубокое понимание систем хранения данных (MongoDB, ElasticSearch, S3, SQL) и их применения.
• Способность программно загружать структурированные данные в больших объемах с помощью библиотек Python для науки о данных, управляя ограничениями ресурсов.
• Разработка мониторинга пайплайнов на Python для новых и существующих приложений.

Сотрудники Recorded Future, которых называют «Футуристами», представляют более 40 национальностей и придерживаются наших корпоративных ценностей: высокие стандарты, инклюзивность и этичность. Наша приверженность предоставлению клиентам разведданных для прерывания действий противников принесла нам рейтинг в 4.8 звезды от Gartner и преданность 8 из топ-10 компани