Data Engineering Lead

Архітектура та проектування даних: Проектування та впровадження масштабованих та ефективних архітектур даних для підтримки потреб організації у обробці даних. Тісна співпраця з міжфункціональними командами для розуміння вимог до даних та забезпечення відповідності рішень організаційним цілям.

Розробка ETL: Керування розробкою надійних ETL процесів для вилучення, перетворення та завантаження даних з різних джерел у сховище даних. Забезпечення якості та цілісності даних протягом усього процесу ETL, впровадження найкращих практик очищення та валідації даних.

Технології Big Data: Слідкування за новими трендами та технологіями у сфері великих даних та аналітики, оцінка їхньої застосовності до стратегії роботи з даними організації. Впровадження та оптимізація технологій великих даних для ефективної обробки та аналізу великих наборів даних.

Інтеграція з хмарою: Співпраця з командою IT інфраструктури для інтеграції рішень з обробки даних з хмарними платформами, забезпечення масштабованості, безпеки та продуктивності.

Моніторинг та оптимізація продуктивності: Впровадження інструментів та процесів моніторингу для відстеження продуктивності конвеєрів даних та проактивне усунення будь-яких проблем. Оптимізація робочих процесів обробки даних для підвищення ефективності та використання ресурсів.

Документація: Підтримка всебічної документації процесів обробки даних, моделей даних та архітектури системи. Забезпечення дотримання членами команди стандартів та найкращих практик ведення документації.

Співпраця та комунікація: Співпраця з науковцями даних, аналітиками та іншими зацікавленими сторонами для розуміння їхніх потреб у даних та надання рішень, що відповідають цим вимогам. Ефективне спілкування з технічними та нетехнічними зацікавленими сторонами, надання оновлень про статус проекту, виклики та можливості.

Бакалаврський або магістерський ступінь у галузі комп'ютерних наук, інформаційних технологій або спорідненій галузі.

6-8 років професійного досвіду в галузі обробки даних.

Глибокі знання у моделюванні даних, процесах ETL та сховищах даних.

Експертність у побудові сховищ даних з використанням Snowflake.

Досвід у вилученні даних, озерах даних, mesh архітектурі та управлінні даними.

Володіння програмуванням на Python.

Сильне розуміння технологій та каркасів великих даних, таких як Hadoop, Spark та Kafka.

Досвід роботи з хмарними платформами, такими як AWS, Azure або Google Cloud.

Знайомство з системами баз даних, включаючи SQL, NoSQL, та інструментами оркестрації конвеєрів даних.

Відмінні навички вирішення проблем та аналітичного мислення.

Сильні комунікативні та міжособистісні навички.

Доведена здатність працювати спільно в швидкоплинному, динамічному середовищі.

Будь ласка, подайте заявку на платформі Lifelancer за наступним посиланням, щоб пройти етап