AWS Data Engineer

Локація роботи: Хайдарабад, Індія

Огляд ролі:

Ми шукаємо кваліфікованого AWS Data Engineer, щоб покращити нашу платформу даних нового покоління. У цій важливій ролі ви будете використовувати передові технології для максимізації бізнес-вартості наших даних. Тісна співпраця з міжфункціональними командами забезпечить доступність, якість і надійність даних. Використовуйте свій досвід у хмарних обчисленнях, інфраструктурі як код (IaC), Python програмуванні, CI/CD і Agile методологіях, щоб просувати наші ініціативи з даних уперед.

Основні обов'язки:

• Проектування та впровадження ефективних ETL процесів і конвеєрів даних.
• Створення систем обробки даних і процесів завантаження як у пакетному режимі, так і в реальному часі.
• Виявлення та вирішення проблем з продуктивністю в конвеєрах даних і запитах.
• Розгортання з використанням CI/CD платформ (Jenkins, Shell Scripting, Unit/Integration Testing).
• Широке використання AWS технологій (S3, DynamoDB, Glue, Athena, EMR, Redshift, Lambda, Kinesis, MSK, Airflow).
• Розробка програмного забезпечення на Python (PySpark/Spark SQL)/Java з використанням Databricks.
• Використання принципів IaaC для управління хмарними ресурсами.
• Впровадження управління даними, метаданих, збереження, відновлення після лиха та перевірок якості.
• Налаштування систем моніторингу, оповіщення та ведення журналів для вирішення проблем з даними.
• Дотримання Agile розробки та найкращих практик SDLC.
• Ефективна співпраця та комунікація між командами.

Необхідна кваліфікація:

• 2-3 роки досвіду в процесах ETL, конвеєрах даних і моделюванні даних.
• Досвід роботи з системами завантаження та обробки даних.
• Володіння сервісами AWS та програмуванням на Python/Java.
• Глибокі знання платформ CI/CD та розгортання.
• Розуміння управління даними та перевірок якості.
• Знайомство з Agile розробкою програмного забезпечення.
• Здатність ефективно співпрацювати та комунікувати.

Бажана кваліфікація:

• Більше 4 років досвіду бажано.
• Досвід роботи з стандартами безпеки даних (наприклад, GDPR) та мережею практиками.
• Досвід роботи з API рішеннями, Docker та Kubernetes.

Чому варто обрати нас:

Окрім щедрої базової зарплати, наша програма винагород та пільг створена для особистого та професійного розвитку:

• Конкурентоспроможні зарплати на основі досвіду.
• Додатковий річний бонус за результатами роботи.
• 30 днів оплачуваної відпустки.
• Страхування здоров'я для вас і ваших утриманців до 5 осіб.
• Дотація на особисті інтереси для хобі або нових навичок.