Data Engineer (Mid Level)

Об Optimism: В Optimism, пионере среди цифровых издателей, мы стремимся создать более светлый веб. Наша инновационная команда запускает и управляет ведущими цифровыми брендами, задачей которых является пробуждение любопытства, распространение позитива и улучшение повседневной жизни нашей аудитории. Применяя стратегию, ориентированную на электронную почту, мы превращаем ваш почтовый ящик в освежающую альтернативу переполненным лентам социальных сетей, предлагая кураторские новости, информацию и развлечения, адаптированные к вашим предпочтениям. Наше разнообразное портфолио включает категории, такие как Образ жизни, Игры, Чудеса и Путешествия, охватывая более 3 миллионов подписчиков и генерируя более 30 миллионов веб-сессий в месяц.

В самом сердце Optimism данные лежат в основе нашего принятия решений и креативности. Как Инженер по данным, вы будете играть ключевую роль в управлении жизненным циклом наших данных. Тесно сотрудничая с нашей инженерной командой, у вас будет уникальная возможность напрямую докладывать как Главному Инженеру, так и Руководителю инженерного отдела в Pardon Ventures.

• Разработка и поддержка бессерверных приложений на Go для эффективной доставки данных.

• Сотрудничество с инженерными командами для обновления и расширения стека API, предназначенного для оптимальной доставки данных.

• Улучшение и поддержка существующих ETL-конвейеров с использованием Scio (Apache Beam + Google Cloud Dataflow + Scala).

• Разработка новых конвейеров данных и интеграция новых источников данных, оптимизация доставки данных в реальном времени в BigQuery и революционизация существующих структур данных.

• Агрегация и стандартизация данных из различных источников для обеспечения высокой доступности и согласованности.

• Применение стека данных для удовлетворения запросов от различных бизнес-заказчиков, улучшение бизнес-аналитики и операционной эффективности.

• Использование инструментов непрерывной интеграции для беспрепятственных развертываний программного обеспечения и конвейеров.

• Мониторинг процессов данных через логи Google Cloud Platform (GCP) для обеспечения оптимальной доставки, устранение проблем и анализ исторических тенденций приложений.

• Постоянное улучшение качеств