О Pinecone

Pinecone уделяет особое внимание разработке технологии поиска и баз данных для улучшения AI приложений на протяжении следующего десятилетия и далее. Наша удобная векторная база данных упрощает интеграцию векторного поиска в AI приложения. С тех пор, как мы стали первопроходцами в категории "векторные базы данных", спрос на них взлетел, что отражается в расширении нашей пользовательской базы.

Мы - распределенная команда с кластерами в Нью-Йорке, Сан-Франциско, Тель-Авиве и Манчестере.

О должности

Pinecone ищет опытного и высокомотивированного инженера для внутренней команды по работе с данными, которая будет отвечать за разработку и поддержку нашей инфраструктуры данных. Это обеспечит эффективную оркестрацию, управление, качество и доступность данных по всей организации. Как старший инженер в команде по работе с данными, вы будете играть ключевую роль в создании и оптимизации нашей экосистемы данных для обеспечения поставки данных, их понимания, получения важной информации и работы с данными в большом масштабе.

Вы будете работать в быстром и плодотворном окружении, которое требует работу высокого качества с минимальным надзором. Вы также будете сильным специалистом в общем потоке, поскольку у нас все носят много шляп, и вы будете напрямую работать с исполнительным руководством и наставничать новых инженеров и ученых по работе с данными.

Обязанности

Проектирование и создание инфраструктуры данных

Создайте масштабируемую, эффективную инфраструктуру данных, включая оркестровку, метрический магазин, магазин функций, управление, качество данных, систему оповещения и обратные процессы ETL.

Обеспечение качества и управления данными

Разработать надежный инструментарий / рамки для обеспечения качества данных и процессы управления для поддержания высокого качества и целостности данных на протяжении всего жизненного цикла данных.

Сотрудничество с командами по работе с данными и разработке

Тесное взаимодействие с командами по работе с данными для понимания их потребностей и обеспечения предоставления и использования данных для моделирования, экспериментирования и анализа.

Что мы ищем:

• Страсть к технологиям

• 5+ лет опыта работы с SQL и Python

• 5+ лет опыта в разработке высокопроизводительных систем

• Бакалавр в области компьютерных наук, математики, технической специальности или эквивалентный опыт

• Глубокие знания в области баз данных, хранения данных, инфраструктуры данных, ELT/ETL

• Опыт работы по созданию и оптимизации инфраструктуры данных с использованием современных технологий и рамок (например, Kafka, Airflow, API Integrations, CI/CD, Terraform и т.д.).

Бонусные баллы:

• Опыт работы с платформами для оркестрации

• Опыт работы с инфраструктурой управления данными (RBAC, качество данных, оповещение и т.д.)

• Опыт работы с решениями для облачного хранилища данных (BigQuery, Snowflake)

• Знакомство и опыт работы с развертыванием кода и управлением ресурсами K8s