AWS- Data Engineer - AU (Melbourne)

Присоединяйтесь к Rackspace в Мельбурне на должность AWS Data Engineer, где вы будете играть ключевую роль в создании и поддержке фреймворков для обработки данных, таких как DBT, SQLMesh и Coalesce, в средах AWS EMR/Glue. Ваша работа будет важной для разработки и оптимизации конвейеров данных в соответствии со стратегией банка в области данных.

Основные обязанности

• Использование сервисов данных AWS, включая AWS EMR, Glue, S3 и Redshift.
• Создание передовых фреймворков для обработки данных на AWS EMR/Glue и Apache Spark.
• Разработка эффективных, надежных и легко поддерживаемых рабочих процессов данных.
• Применение принципов программной инженерии, включая Объектно-Ориентированное Проектирование (OOD) и шаблоны проектирования.
• Оптимизация конвейеров обработки данных для повышения производительности и масштабируемости.
• Сотрудничество с архитекторами данных для внедрения лучших практик и улучшения возможностей фреймворков данных.
• Решение технических проблем и поддержка команды инженеров по обработке данных.

Минимальные требования

• Степень бакалавра в области компьютерных наук, инженерии или смежной технической области.
• Более 3 лет практического опыта работы с сервисами AWS, особенно EMR и Glue.
• Умение создавать фреймворки для обработки данных, такие как DBT, SQLMesh или Coalesce.
• Прочное понимание SQL, моделирования данных и процессов ETL.

Предпочтительные квалификации

• Опыт работы с системами контроля версий и конвейерами CI/CD.
• Знание дополнительных сервисов AWS и инструментов аналитики данных.

Компания: Rackspace

Название должности: AWS Data Engineer - Framework Specialist

Местоположение: Мельбурн, Австралия