Software Engineer, Backend - Data Platform (Big Data Infra)

Присоединяйтесь к Benchling в качестве инженера-разработчика по работе с данными: платформа данных (Big Data Infra)

Трансформируйте биотехнологии с Benchling

В Benchling мы поставили перед собой задачу вывести сферу биотехнологий на новый уровень с помощью нашей передовой облачной платформы для НИОКР. Мы сотрудничаем с ведущими биотехнологическими компаниями мира, чтобы ускорить научные прорывы, значительно сократив время между открытием и выводом на рынок. Став частью нашей динамичной команды, вы получите шанс внести свой вклад в создание революционных продуктов, меняющих нашу повседневную жизнь.

Обзор роли

Будучи ключевым членом команды инженеров по работе с данными Benchling, вы поможете проектировать и создавать наши сервисы данных следующего поколения. Они крайне важны для того, чтобы разработчики могли создавать надежные многоарендаторские приложения для работы с данными и аналитические продукты. Кроме того, вы внесете свой вклад в стратегию развития искусственного интеллекта, обеспечивая бесперебойную работу разработчиков с нашей инфраструктурой данных при создании приложений на основе ИИ.

Основные обязанности

• Проектирование и эксплуатация высокопроизводительной распределенной системы обмена сообщениями, такой как Kafka/Kinesis, для бесперебойной интеграции данных.
• Разработка передовой платформы для работы с данными и вычислениями, удовлетворяющей требованиям как внутренних, так и внешних клиентов.
• Создание и управление DSL & реестром схем, поддерживающих проектирование пользовательских моделей данных и асинхронной миграции данных в больших объемах.
• Активное проектирование трансформаций данных и потоков, с приоритетом на целостность и конфиденциальность данных.
• Установление целей уровня сервиса (SLOs) для пакетной и потоковой обработки данных и оптимизация их производительности.
• Внедрение CI/CD потоков для обеспечения платформы данными и управление полным жизненным циклом операций с данными.
• Сотрудничество между командами для установления лучших практик использования платформы данных.

Требования

• Не менее 3 лет опыта в области программной инженерии с доказанным послужным списком.
• Глубокие знания в области аналитики данных, решений для хранилищ данных вроде Snowflake, Delta Lake, AWS Redshift и т. д.
• Знание технолог