AWS- Data Engineer - AU (Melbourne)

Приєднуйтесь до Rackspace як AWS Data Engineer у Мельбурні, де ви відіграватимете важливу роль у створенні та підтримці фреймворків для обробки даних, таких як DBT, SQLMesh і Coalesce в середовищах AWS EMR/Glue. Ваша робота буде ключовою у розробці та оптимізації конвеєрів даних для забезпечення відповідності стратегії даних нашого банку.

• Використання сервісів AWS для даних, включаючи AWS EMR, Glue, S3 та Redshift.
• Створення просунутих фреймворків для обробки даних на AWS EMR/Glue та Apache Spark.
• Розробка ефективних, надійних та зручних у підтримці робочих процесів даних.
• Застосування принципів розробки програмного забезпечення, зокрема об'єктно-орієнтованого проектування (OOD) та шаблонів проектування.
• Оптимізація конвеєрів обробки даних для підвищення продуктивності та масштабованості.
• Співпраця з архітекторами даних для впровадження кращих практик та покращення можливостей фреймворку для даних.
• Вирішення технічних проблем та підтримка команди інженерів з обробки даних.

• Ступінь бакалавра у галузі комп'ютерних наук, інженерії або спорідненій технічній галузі.
• 3+ років практичного досвіду роботи з сервісами AWS, зокрема EMR та Glue.
• Володіння навичками створення фреймворків для обробки даних, таких як DBT, SQLMesh або Coalesce.
• Солідне розуміння SQL, моделювання даних та процесів ETL.

• Досвід роботи з системами контролю версій та CI/CD конвеєрами.
• Знання додаткових сервісів AWS та інструментів аналітики даних.

Компанія: Rackspace

Назва вакансії: AWS Data Engineer - Framework Specialist

Місцезнаходження: Мельбурн, Австралія