Senior Data Engineer, GenAI

MongoDB, пионер в области программного обеспечения для управления базами данных, переживает захватывающий этап роста. Поскольку рынок программного обеспечения для баз данных, по прогнозам, вырастет с 82 миллиардов долларов в 2023 году до примерно 137 миллиардов долларов в 2027 году, MongoDB продолжает лидировать и внедрять инновации. Будучи первым поставщиком баз данных, вышедшим на публичное предложение акций за более чем два десятилетия, мы предлагаем исключительную возможность для талантов присоединиться к компании, которая формирует будущее технологий.

Наша команда инженеров по работе с данными находится в самом сердце операций MongoDB, повышая эффективность компании с помощью надежных ETL-конвейеров. Эти конвейеры поддерживают нашу внутреннюю платформу данных, способствуя мощному анализу данных и внесению вклада в наши передовые рамки работы с генеративным ИИ. Эта роль имеет решающее значение для помощи MongoDB в использовании ИИ для преобразования огромных наборов данных в доступную, действенную информацию.

Вы будете:

• Создавать и управлять ETL-конвейерами, используя Python и Spark.
• Проектировать и реализовывать эти конвейеры в различных архитектурах, таких как файловые и потоковые системы.
• Стратегировать по оптимизации инструментов ИИ, сосредотачиваясь на методах деления данных на части и извлечения для приложений на базе RAG.
• Постоянно обновлять и интегрировать последние тенденции и инструменты ИИ в платформы MongoDB.
• Принимать ключевые архитектурные решения о хранении огромных наборов данных в форматах, таких как Parquet и JSON, и использовать различные типы таблиц, такие как Iceberg и Hive.
• Сотрудничать с межфункциональными командами для обеспечения безопасности данных, их соответствия и масштабируемости.

Мы ищем кого-то, у кого есть:

• Более 5 лет опыта в создании ETL-конвейеров для озер данных или складов данных.
• По крайней мере 1 год опыта разработки приложений на основе ИИ и RAG.
• Продвинутое владение Python и Spark.
• Глубокое понимание технологий, таких как Hive, Iceberg и Glue.
• Знакомство с большими типами файлов данных, включая Parquet, Avro и JSON.

В течение 3 месяцев вы полностью поймете экосистему Data Lake и ИИ MongoDB. К 6-месячному рубежу вы возглавите крупный проект от начала до конца. Спустя 12 м