Інженер з даних

Огляд роботи Ми шукаємо висококваліфікованого старшого інженера з даними, який приєднається до нашої команди, що працює з даними. Ідеальний кандидат повинен бути експертом у сфері інженерії даних з багатим досвідом використання таких інструментів і мов, як AWS S3, Pentaho, AWS API, Snowflake, сховища даних, процеси ETL/ELT, AWS Code Commit, AWS Code Deploy, AWS Code Build, Looker, Shell script та Python. Ця роль включає створення, обслуговування та оптимізацію архітектур даних, систем передачі даних та наборів даних для задоволення різноманітних потреб нашого бізнесу. Обов'язки Архітектура та дизайн даних: - Проектувати, створювати, налаштовувати та обслуговувати масштабовані та надійні архітектури даних. - Працювати з Snowflake та AWS для ефективних рішень зі сховищ даних. Інтеграція даних: - Розробляти, тестувати та обслуговувати процеси ETL/ELT за допомогою Pentaho. - Створювати міцні системи передачі даних для підтримки ініціатив з аналітики та науки про дані. Розгортання даних та автоматизація: - Використовувати AWS Code Commit, AWS Code Deploy та AWS Code Build для гладкого розгортання та автоматизації. - Впроваджувати перевірки якості даних, моніторинг та валідацію. Співпраця та підтримка: - Співпрацювати з аналітиками даних, науковцями-дослідниками даних та іншими зацікавленими сторонами. - Підтримувати бізнес-користувачів з Looker для візуалізації даних та отримання в insight-ів. - Надавати наставництво та керівництво молодшим інженерам з даними. Створення скриптів та розробка: - Використовувати Python та Shell scripting для створення та автоматизації завдань обробки даних. Кваліфікація: - Бакалавр або магістр комп'ютерних наук, інженерії або суміжної сфери. - Понад 5 років практичного досвіду в інженерії даних. - Знання наступних технологій: - AWS S3, Pentaho, AWS API, Snowflake, AWS Code Commit, AWS Code Deploy, AWS Code Build. - Значний досвід роботи зі сховищами даних, процесами ETL/ELT. - Володіння Python, Shell script та Looker. - Сильні навички вирішення проблем, увага до деталей та здатність працювати в динамічному середовищі. Вимоги Основна увага на 3 речі: - Snowflake - Pentaho - S3