Інженер з даних (гібрид)

Що ми пропонуємо: Що Ми Пропонуємо: Розвиток кар'єри Конкурентоспроможну компенсацію та пільги Прозорість в оплаті праці Глобальні можливості Дізнайтесь більше тут: https://www.dematic.com/en-us/about/careers/what-we-offer Dematic надає рівні можливості для зайняття всім співробітникам та кандидатам на роботу і забороняє дискримінацію та домагання будь-якого типу без відношення до раси, кольору шкіри, релігії, віку, статі, національного походження, стану інвалідності, генетики, статусу захищеного ветерана, сексуальної орієнтації, гендерної ідентичності або вираження, або будь-якої іншої характеристики, захищеної федеральними, державними або місцевими законами. Ця політика поширюється на всі умови та умови зайняття, включаючи набір, найм, розміщення, просування, припинення, звільнення, виклик, перевід, відпустку, виплату та навчання. Базова ставка оплати за цю роль оцінюється в $65,000.00 - $140,000.00 на момент публікації. Кінцева компенсація буде визначена за допомогою різних факторів, таких як місце роботи, освіта, досвід, знання та навички. #LI-DP1 Завдання та вимоги: Що ми шукаємо: Обов'язки: Проектування, розробка та підтримка масштабних та ефективних каналів передачи даних для витягу, перетворення та завантаження (ETL) даних з різних джерел до сховищ даних і баз даних. Проектування та розробка мікросервісів для співпраці з даними вчені, аналітики та команди з різних функціональних областей для проектування моделей даних, схем баз даних та рішень зберігання даних. Реалізація процесів інтеграції даних та контролю якості даних для забезпечення точності та надійності даних для аналітики та звітності. Оптимізація зберігання даних, обробки та виконання запитів для великих наборів даних. Увімкнення розширенної аналітики та можливості машинного навчання на платформі даних. Постійне відстеження та поліпшення якості даних та практики управління даними. Бути в курсі останніх тенденцій, технологій та кращих практик в інженерії даних. Вимоги: Ступінь бакалавра в галузі комп'ютерних наук, інженерії або суміжної галузі. 5+ досвіду в галузі інженерії даних, складуванні даних та процесах ETL. Володіння інструментами та технологіями в галузі інженерії даних, такими як SQL, Python, Spark, Hadoop, Airflow, Apache Kafka та Presto. Впевнений досвід роботи з форматами таблиць, наприклад Apache Iceberg або Delta Lake. Освіта та досвід роботи з інфраструктурою пакетної обробки та реального часу і поставленими завданнями. Впевнений досвід роботи з генеалогією даних, якістю даних та спостеріганістю даних. Впевнений досвід проектування та розробки мікросервісів та розподіленої архітектури. Практичний досвід роботи з облачними платформами даних (наприклад, AWS, Azure, GCP), переважно GCP і архітектурами озер даних. Сильний досвід роботи з контейнерними технологіями, такими як Docker, Kubernetes. Глибоке розуміння принципів моделювання даних, архітектури даних та управління даними. Відмінний досвід роботи з принципами DataOps та автоматизації тестування. Обізнаність з обробкою даних та виконанням запитів з використанням розподілених систем та баз даних NoSQL. Здатність оптимізувати та налаштовувати обробку та зберігання даних з метою підвищення продуктивності та економічної ефективності. Відмінні навички вирішення проблем і здатність працювати над складними викликами в області інженерії даних. Сильні комунікативні навички і здатність ефективно співпрацювати з командами з різних функціональних областей. Попередній досвід наставництва та керування молодими інженерами-даними є плюсом. Релевантні сертифікати в галузі інженерії даних або хмарних технологій є бажаними. Було б добре мати: Досвід роботи в архітектурі Data Mesh. Вище досвід роботи в області ланцюгів поставок.