Data Engineer, Affiliate Commerce

Raptive шукає досвідченого інженера з даних, щоб допомогти нам розширити наші продуктові пропозиції для видавців, особливо в секторі партнерського комерції. Ваш досвід допоможе авторам з спеціалізованими знаннями диверсифікувати та збільшити їхні джерела доходів.

Як інженер з даних, ви проектуватимете масштабовані, надійні, легкі в обслуговуванні та розширювані системи для збираю даних з різних джерел, генеруватимете інсайти та інтегруватимете їх у наші продукти. Ваша роль є ключовою в наданні нового і значущого продукту, що підтримує відкритий веб.

Основні обов'язки

• Підтримання існуючих конвеєрів даних та розробка нових для інтеграції даних з різних зовнішніх та внутрішніх джерел, використовуючи API, Airbyte та озера даних.
• Проектування та вдосконалення систем даних та інфраструктури для масштабованості, надійності та ефективності.
• Моніторинг і оптимізація продуктивності конвеєрів даних та баз даних для підвищення ефективності та зниження витрат.
• Підтримка всебічної документації для систем даних та конвеєрів.
• Взаємодія з внутрішніми зацікавленими сторонами для розуміння вимог до даних та регулярного інформування про розвиток конвеєрів.
• Створення та оптимізація конвеєрів перетворення даних з використанням dbt та Airflow (Cosmos), забезпечуючи високу якість звітності з єдиного джерела.
• Самостійно керувати значними технічними завданнями, тісно співпрацюючи з інженерами з програмного забезпечення та технічними командами щодо вимог до даних та стратегій інтеграції.
• Розробка масштабованих, ефективних та легких у обслуговуванні конвеєрів даних з використанням передових технологій.

Необхідні навички та досвід

• Сильний практичний досвід роботи з AWS (зокрема Lambda, Kinesis Firehose та S3), Snowflake та dbt.
• Володіння Python та SQL для користувальницького скриптування та маніпулювання даними.
• Досвід роботи зі Snowpark або знайомість зі Spark DataFrames.
• Професійне володіння різними типами API, включаючи REST і GraphQL.
• Увага до підтримання високої якості даних з різних джерел та при складних перетвореннях.
• Здатність самостійно працювати та просувати проекти вперед, ефективно співпрацюючи з членами команди.

Бажані навички

• Знання DevOps-практик та досвід роботи з інструментами інфраструктури як код, такими як Terraform.
• Досвід роботи з CI/CD-конвеєрами, особливо GitHub Actions.
• Знайомство з техніками машинного навчання для обробки даних та передбачувальної аналітики.
• Досвід роботи з інструментами та методологіями обробки даних в реальному часі.
• Досвід у створенні та підтриманні сховищ даних та озер даних.

Про компанію Raptive

Місія Raptive полягає в наданні авторам незалежності, пропонуючи