Principal Data Engineer - AWS

NorthBay Solutions ищет высококвалифицированного ведущего инженера по данным со специализацией в AWS. Идеальный кандидат должен иметь от 8 до 10 лет опыта работы в области инженерии данных и быть готовым к решению сложных задач и продвижению наших технологических решений.

В роли ведущего инженера по данным в NorthBay Solutions вы будете лидировать в критически важных инициативах по данным и внедрять инновационные технологии в различных проектах. Ваша роль заключается в проектировании, разработке и поддержании передовых инфраструктур данных. Вы должны обладать отличной способностью извлекать информацию из больших наборов данных и процветать в динамичной среде, которая поощряет эксперименты и решение проблем.

Чтобы преуспеть на этой должности, вы должны демонстрировать:

• Высокую компетентность в SQL, Python, PySpark и Delta Lake.
• Богатый опыт работы с AWS Kinesis для ввода потоковых данных.
• Глубокое понимание архитектурных рамок данных, таких как озёра данных, дома данных и сети данных.
• Прочные знания в области инженерии данных, особенно на платформе Amazon Cloud, включая, но не ограничиваясь, службами AWS, такими как S3, Lambda, EC2 и Redshift.
• Способность работать с масштабными структурированными и неструктурированными наборами данных и тщательное понимание процессов хранения данных, моделирования данных и ETL.
• Подтверждённый опыт предоставления возможностей CI/CD и DevOps в средах данных.
• Профессионализм в работе с Jira, методологиями Agile и знакомство с инструментами визуализации, такими как AWS QuickSight и Tableau.

Будучи нашим ведущим инженером по данным, ваши повседневные обязанности будут включать:

• Проектирование, разработку и поддержку эффективных, повторно используемых и надёжных конвейеров данных.
• Обеспечение безопасности данных и соблюдение регулятивных требований во всех практиках AWS.
• Сотрудничество с командами по науке о данных и DevOps для улучшения результатов проектов и стратегий развёртывания.
• Анализ данных для выявления информации, которая будет стимулировать бизнес и технологические решения.
• Перевод сложных бизнес-требований в масштабируемые технические решения в средах AWS.

Идеальный кандидат будет увлечён технологиями, иметь склонность к решению проблем и открытость к из