Senior Software Developer, Big Data

Autodesk шукає досвідченого Старшого Розробника ПЗ, Великі Дані, щоб підсилити нашу команду Enterprise Data Engineering & Visualisation (EDEV). Якщо ви готові взятися за великі виклики та зробити справжній вплив, читайте далі!

Будучи важливою частиною нашої команди EDEV, ви будете відповідальні за створення надійних пайплайнів даних, які дозволяють Autodesk збирати критично важливі бізнес-інсайти. Ваш досвід допоможе формувати рішення для даних, які необхідні для інженерів даних, науковців-данистики та аналітиків нашої компанії. Ця повноцінна роль, заснована в Торонто та пропонуюча гібридну модель роботи, запрошує вас залишити свій слід в провідному технологічному середовищі.

Ваші щоденні завдання включатимуть:

• Розробку та автоматизацію перетворень даних у різних системах.
• Впровадження процесів CI/CD для пакетних та Near Real Time (NRT) пайплайнів даних за допомогою інструментів, таких як PySpark, dbt та Apache Airflow.
• Використання ряду мов програмування, таких як SQL, Python та Java, для ефективної маніпуляції даними та розробки рішень.
• Співпраця з кількома командами для вирішення технічних проблем та покращення продуктивності.
• Розробка схем даних та створення процесів контролю якості для підтримки високих стандартів даних.

Щоб досягти успіху в цій ролі, ви повинні мати:

• Щонайменше 5 років досвіду з хмарними ETL, ELT і обробкою даних в реальному часі.
• Продвинуті навички моделювання даних та програмування на SQL, Python та інших відповідних мовах.
• Доведений досвід роботи у великих даних середовищах, таких як Hadoop, Hive та Spark.
• Знайомство з інструментами управління робочими процесами, такими як Airflow, та інструментами розробки програмного забезпечення, такими як GitHub та Jenkins.

У Autodesk ми надихаємо