Data Engineer

Назва посади: Інженер з даних у LTIMindrape

Опис посади:

Ми шукаємо вмілого інженера з даних з досвідом програмування на SQL і значним досвідом роботи з технологіями на базі Azure. Ідеальний кандидат повинен мати тверде розуміння процесу створення і обслуговування конвеєрів даних з використанням Azure DevOps, Azure Data Factory, Azure Data Lake і Azure Synapse.

Основні обов’язки:

• Глибокі знання та реалізація конвеєрів даних за допомогою Azure Data Factory та Cosmos.
• Експерт у системах контролю версій, включаючи ADO GIT, з можливостями у процесах CI/CD.
• Уміння аналізувати, інтерпретувати дані за допомогою KPI, метрик і діаграм ефективно.
• Забезпечення якості даних шляхом оцінки вірності, повноти, унікальності тощо.
• Робота з конфіденційними даними з суворим дотриманням рекомендацій PII і GDPR за допомогою ефективних методів шифрування і дешифрування.
• Незалежна робота, а також співпраця з зарубіжними командами.
• Щоденні обов’язки включають аналіз вимог, обслуговування та покращення конвеєрів даних, взаємодію з керівниками команд, і телеметрію продуктів платформи даних.
• Виправлення помилок і коду високої якості, а також моніторинг конвеєрів даних, створених у Azure Data Factory.
• Регулярні оновлення технічних специфікацій і сторінок вікі для кожної реалізації конвеєра, а також щоденні оновлення в ADO.

Необхідні технічні навички:

Необхідні знання Azure Data Factory, EDL, SQL Server 2016, Azure Synapse, Azure Cosmos DB, Azure Databricks, PySpark, Python і Excel. Досвід роботи з Azure Databricks і EDL.

Бажано:

Досвід роботи з інструментами візуалізації, такими як PowerBI, і участь у маркетингових кампаніях є перевагою.

Профіль кандидата:

Ідеальний кандидат повинен володіти відмінними аналітичн