Старший инженер данных AWS

Описание компании

Vitol - лидер в энергетическом секторе с участием во всех его аспектах: от нефти до электроэнергии, возобновляемых источников и углерода. Из 40 глобальных офисов мы стремимся добавить ценность во всем энергетическом цепочке поставок, используя наш масштаб и понимание рынка для помощи в энергетическом переходе. На сегодняшний день мы инвестировали более 2 миллиардов долларов в проекты в области возобновляемой энергии, и мы определяем и разрабатываем возможности с низким уровнем выбросов углерода по всему миру.

Наши люди - это наш бизнес. Мы ценим таланты и обеспечиваем среду, где каждый может раскрыть свой полный потенциал, неограниченный иерархией. Наша команда состоит из представителей более чем 65 национальностей, и мы стремимся к созданию и поддержанию разнообразия в нашем коллективе. Узнайте больше о нас здесь.

Описание работы

Как старший инженер по данным, вам будет поручено проектирование, внедрение и поддержка крупных систем обработки данных на AWS, обеспечивая их масштабируемость, надежность и эффективность.

Ваша роль требует высокого уровня технических знаний, большого опыта работы на платформах MPP/Spark, "больших данных" (например, прогнозы погоды, местоположение судов, спутниковые изображения и т.д.), и устойчивости в разработке надежных потоков данных. Вы будете отвечать за полные потоки данных: от приобретения, загрузки и трансформации, до внедрения бизнес-правил/аналитики и, наконец, доставки конечному пользователю (бизнес / данные / AI).

Вы также будете тесно сотрудничать с командой бизнеса и другими группами доставки, а также с командой Data Science, чтобы понять их потребности в данных и обеспечить необходимую инфраструктуру данных для их деятельности. Кроме того, вы также будете оптимизировать производительность систем обработки данных путем уточнения запросов к базам данных, улучшения времени доступа к данным и снижения задержек.

Для этой роли требуются сильные навыки программирования на SQL и Python, а также соблюдение установленных инженерных практик.

Сильные коммуникативные навыки - обязательны. Вы должны быть способны без труда переводить технические выражения для неподготовленных пользователей и преобразовывать бизнес-требования в технические требования.

Квалификация

• Более 10 лет опыта работы в области инженерии данных
• Знание MPP баз данных (Snowflake, Redshift, Big Query, Azure DW) и/или Apache Spark
• Опыт создания устойчивых потоков данных для больших наборов данных
• Значительные знания AWS или облачных технологий, включая основные и расширенные услуги
• 8+ лет опыта работы с не менее чем тремя из следующих: ECS, EKS, Lambda, DynamoDB, Kinesis, AWS Batch, ElasticSearch/OpenSearch, EMR, Athena, Docker/Kubernetes
• Профессиональное владение Python и SQL, а также опыт моделирования данных
• Опыт работы с современными инструментами оркестровки (Airflow / Dagster / Prefect / подобные) и/или DBT
• Способность работать в динамичной среде с определенной степенью неопределенности

Дополнительная информация

Желательно:

• Инфраструктура как код (Terraform, Cloud Formation, Ansible, Serverless)
• Трубопроводы CI/CD (Jenkins / BitBucket Pipelines / подобные)
• Способности настройки базы данных/SQL
• Базовое понимание концепций науки о данных