Data Engineer (Mid Level)

Про Optimism: У Optimism, піонерському цифровому видавництві, ми прагнемо творити яскравіший веб. Наша інноваційна команда запускає і керує топовими цифровими брендами, мета яких - пробудити цікавість, поширити позитив і покращити повсякденне життя нашої аудиторії. Обравши стратегію "спочатку електронні листи", ми перетворюємо вашу поштову скриньку на освіжаючу альтернативу переповненим стрічкам соціальних мереж, доставляючи кураторські новини, інформацію та розваги, адаптовані до ваших переваг. Наше різноманітне портфоліо включає категорії, такі як Стиль життя, Ігри, Дива і Подорожі, охоплюючи понад 3 мільйони підписників і генеруючи більше ніж 30 мільйонів веб-сесій щомісяця.

В Optimism, дані є ключовою частиною нашого прийняття рішень та креативності. Як Data Engineer, ви відіграватимете ключову роль у керуванні нашим життєвим циклом даних. Тісно співпрацюючи з нашою інженерною командою, ви матимете унікальну можливість безпосередньо доповідати як Головному Інженеру, так і Керівнику Інженерного Відділу у Pardon Ventures.

• Проєктувати і обслуговувати безсерверні додатки Go для ефективної доставки даних.

• Співпрацювати з інженерними командами для оновлення та розширення стеку API, розробленого для оптимальної доставки даних.

• Покращувати та зберігати існуючі ETL-пайплайни, використовуючи Scio (Apache Beam + Google Cloud Dataflow + Scala).

• Розробляти нові пайплайни даних і інтегрувати нові джерела даних, оптимізувати потоки даних API в реальному часі до BigQuery та революціонізувати існуючі структури даних.

• Агрегувати і стандартизувати дані з різноманітних джерел для забезпечення високої доступності та согласованості.

• Застосувати стек даних для задоволення запитів різних бізнес-