Senior/Lead Data Engineer - AWS Glue

Компания: Srijan Technologies

Местоположение: Гургаон, Харьяна, Индия

В Material мы превращаем вызовы клиентов в возможности для роста. Будучи глобальным стратегическим партнером, мы сотрудничаем с самыми узнаваемыми брендами и инновационными компаниями мира. Наша глобальная команда процветает, разрабатывая и предоставляя уникальные клиентские опыты, основанные на глубоких человеческих инсайтах, инновациях в дизайне и передовых технологиях. Мы ускоряем вовлеченность и рост, трансформируя отношения между бизнесом и его клиентами.

Srijan, компания Material, является известной глобальной компанией в области цифрового инжиниринга, известной решением сложных технологических задач с использованием глубокого опыта и стратегических партнерств. Присоединяйтесь к нам и станьте частью Прекрасного Племени.

Мы ищем высококвалифицированного и мотивированного инженера данных, чтобы присоединиться к нашей динамичной команде. Идеальный кандидат должен иметь обширный опыт работы с AWS Glue, Apache Airflow, Kafka, SQL, Python и инструментами DataOps. Знание SAP HANA и Snowflake является плюсом. Эта критически важная роль включает в себя разработку, обслуживание и проектирование архитектуры конвейеров данных для наших клиентов, обеспечивая эффективный и надежный поток данных по всей организации.

• Проектирование, разработка и сопровождение конвейеров данных: Создание надежных и масштабируемых конвейеров данных с использованием AWS Glue, Apache Airflow и прочих относящихся технологий. Интеграция различных источников данных, включая SAP HANA, Kafka и SQL базы данных.
• Управление и преобразование данных: Проектирование и внедрение процессов преобразования данных с использованием SQL и Python. Обеспечение качества и целостности данных через строгие тесты и проверки.
• Сотрудничество и коммуникация: Тесная работа с учеными данными, аналитиками и заинтересованными сторонами для понимания требований к данным. Сотрудничество с кросс-функциональными командами для внедрения практик DataOps.
• Мониторинг и оптимизация: Мониторинг производительности конвейеров данных и внедрение улучшений. Диагностика и решение проблем, связанных с данными, а также управление системами мониторинга и оповещения.
• Документация и лучшие практики: Поддержка полной документации конвейеров данных и процессов. Соблюдение лучших практик в инжиниринге данных, включая версионирование кода, тестирование и процедуры развертывания.

Технические навыки

• Обширный опыт работы с AWS Glue для интеграции и преобразования данных.
• Опыт работы с Apache Airflow для оркестрации рабочих процессов.
• Сильные знания Kafka для потоковой передачи данных в реальном времени.
• Продвинутые навыки SQL для запросов и управления базами данных.
• Владение Python для скриптинга и автоматизации задач.
• Опыт работы с SAP HANA для хранения и управления данными.
• Знакомство с инструментами и методологиями DataOps.

Предпочтительные навыки

• Знание Snowflake для облачных решений по хранению данных.
• Опыт работы с другими сервисами AWS, такими как Redshift, S3 и Athena.
• Знакомство с технологиями больших данных, такими как Hadoop, Spark и Hive.

Личностные качества

• Сильные аналитические навыки и умение решать проблемы.
• Отличные коммуникативные и коллаборативные способности.
• Внимание к деталям и приверженность к качеству и точности данных.
• Способность работать самостоятельно и управлять несколькими проектами одновременно.