Старший інженер з даних AWS

Опис компанії

Vitol є лідером у секторі енергетики з представництвом по всьому спектру: від нафти до електроенергії, відновлюваних джерел та вуглецю. З 40 глобальних офісів ми намагаємося додати вартість усім етапам енергетичного ланцюжка, використовуючи наш масштаб та розуміння ринку для сприяння переходу до альтернативних джерел енергії. На сьогоднішній день ми інвестували понад 2 мільярди доларів у проекти з відновлюваної енергетики, і ми виявляємо та розробляємо можливості з низьким вмістом вуглецю по всьому світу.

Наші люди - наш бізнес. Ми цінуємо таланти і створюємо середовище, де окремі особи можуть реалізувати свій повний потенціал, не будучи обмеженими ієрархією. Наша команда складається з представників більш ніж 65 національностей, і ми зобов'язані сприяти и заповнювати різноманітність у нашому персоналі. Дізнайтеся більше про нас тут.

Опис посади

Як старший інженер з даних, вам доручено проектувати, впроваджувати та підтримувати системи обробки даних великого масштабу на AWS, забезпечуючи їх масштабованість, надійність та ефективність.

Ваша посада потребує високого рівня технічних знань, з великим досвідом роботи з платформами MPP/Spark, "великими даними" (наприклад, прогнози погоди, місцеположення суден, супутникові зображення тощо) та здатністю розробляти надійні конвеєри даних. Ви будете відповідальні за повний цикл обробки даних: від отримання, завантаження та перетворення, до впровадження бізнес-правил/аналітики і, нарешті, доставки кінцевому користувачу (бізнес / науковці з області даних / ШІ).

Ви також будете тісно співпрацювати з бізнесом та іншими командами виконавців, а також з командою Data Science, щоб зрозуміти їх потреби в даних та надати необхідну інфраструктуру даних для їхньої діяльності. Крім того, ви будете оптимізувати продуктивність систем обробки даних, вдосконалюючи запити до баз даних, покращуючи час доступу до даних і знижуючи затримку.

У цій посаді необхідні сильні кодувальні здібності в SQL та Python, а також дотримання установлених інженерних практик.

Сильні комунікаційні навички є обов'язковими. Ви повинні мати здатність безпроблемно перекладати технічні вирази для невеликої кількості користувачів та перетворювати бізнес-вимоги на технічні вимоги.

Кваліфікація

• Понад 10 років досвіду в інженерії даних
• Вміння працювати з MPP базами даних (Snowflake, Redshift, Big Query, Azure DW) та/або Apache Spark
• Досвід будівництва надійних конвеєрів даних для великих наборів даних
• Значні знання AWS або хмарних сервісів в основному і розширеному обсязі
• 8+ років досвіду роботи за допомогою принаймні трьох з наступних: ECS, EKS, Lambda, DynamoDB, Kinesis, AWS Batch, ElasticSearch/OpenSearch, EMR, Athena, Docker/Kubernetes
• Вміння працювати з Python і SQL, разом з досвідом моделювання даних
• Досвід роботи з сучасними інструментами оркестровки (Airflow / Dagster / Prefect / подібні) та/або DBT
• Здатність працювати в динамічному середовищі з певним ступенем невизначеності

Додаткова інформація

Бажано:

• Інфраструктура в якості коду (Terraform, Cloud Formation, Ansible, Serverless)
• CI/CD конвеєри (Jenkins / BitBucket Pipelines / подібні)
• Здібності налаштування бази даних / SQL
• Базове розуміння концепцій науки про дані