Senior/Lead Data Engineer - AWS Glue

Компанія: Srijan Technologies

Локація: Гурґаон, Хар'яна, Індія

У Material ми перетворюємо виклики клієнтів на можливості для зростання. Як глобальний стратегічний партнер, ми співпрацюємо з найвідомішими брендами та інноваційними компаніями світу. Наша глобальна команда створює та надає нагородні клієнтські враження за допомогою глибоких людських інсайтів, інноваційного дизайну та передових технологій. Ми прискорюємо залучення та зростання, трансформуючи стосунки між бізнесом та їхніми клієнтами.

Srijan, компанія Material, є відомою глобальною компанією з цифрової інженерії, відомою розв'язанням складних технологічних проблем за допомогою глибокої експертизи та стратегічних партнерств. Приєднуйтесь до нас і станьте частиною чудового племені.

Ми шукаємо висококваліфікованого та мотивованого інженера даних, який приєднається до нашої динамічної команди. Ідеальний кандидат повинен мати великий досвід роботи з AWS Glue, Apache Airflow, Kafka, SQL, Python та інструментами DataOps. Знання SAP HANA та Snowflake є перевагою. Ця важлива роль включає розробку, розвиток і підтримку архітектури конвеєра даних наших клієнтів, забезпечуючи ефективний і надійний потік даних по всій організації.

• Розробка, створення та підтримка конвеєрів даних: Створення надійних та масштабованих конвеєрів даних за допомогою AWS Glue, Apache Airflow та інших відповідних технологій. Інтеграція різних джерел даних, включаючи SAP HANA, Kafka та SQL бази даних.
• Управління та трансформація даних: Розробка та впровадження процесів трансформації даних за допомогою SQL та Python. Забезпечення якості даних та їх цілісності шляхом суворого тестування та валідації.
• Співпраця та комунікація: Тісна співпраця з науковцями даних, аналітиками та зацікавленими сторонами для розуміння вимог до даних. Співпраця з міжфункціональними командами для впровадження практик DataOps.
• Моніторинг та оптимізація: Моніторинг продуктивності конвеєрів даних і впровадження поліпшень. Вирішення проблем, пов'язаних з даними, та управління системами моніторингу та сповіщення.
• Документація та найкращі практики: Ведення комплексної документації конвеєрів даних та процесів. Дотримання найкращих практик в області інженерії даних, включаючи контроль версій коду, тестування та процедури розгортання.

Технічна експертиза

• Великий досвід роботи з AWS Glue для інтеграції та трансформації даних.
• Володіння Apache Airflow для оркестрації робочих процесів.
• Знання Kafka для потокової обробки даних в режимі реального часу.
• Продвинуті навички SQL для запитів та управління базами даних.
• Вміння працювати з Python для написання скриптів та автоматизації завдань.
• Досвід роботи з SAP HANA для зберігання та управління даними.
• Знання інструментів та методологій Data