Starszy Inżynier Danych AWS

Opis firmy

Vitol jest liderem w sektorze energetycznym, z obecnością na całym spektrum: od ropy naftowej po energię, odnawialne zasoby energii i węgiel. Z 40 globalnych biur, dążymy do dodawania wartości na całym łańcuchu dostaw energii, wykorzystując naszą skalę i zrozumienie rynku do wspierania transformacji energetycznej. Do tej pory zobowiązaliśmy się do wniesienia ponad 2 miliardów dolarów kapitału na projekty odnawialne i identyfikujemy oraz rozwijamy niskoemisyjne możliwości na całym świecie.

Nasi ludzie to nasz biznes. Cenimy talenty i zapewniamy środowisko, w którym jednostki mogą rozwinąć swój pełen potencjał, nieograniczony przez hierarchię. Nasz zespół składa się z ponad 65 narodowości i jesteśmy zobowiązani do promowania i utrzymania różnorodności w naszej siłowni roboczej. Dowiedz się więcej o nas tutaj.

Opis stanowiska

Jako starszy inżynier danych, będziesz odpowiedzialny za projektowanie, wdrażanie i utrzymanie systemów przetwarzania danych na dużą skalę na platformie AWS, gwarantując jednocześnie ich skalowalność, niezawodność i wydajność.

Twoja rola wymaga wysokiego poziomu wiedzy technicznej, z obszernym doświadczeniem w platformach MPP/Spark, "big data" (np. prognozy pogody, lokalizacja statków, zdjęcia satelitarne itp.) i wytrwałości w tworzeniu niezawodnych potoków danych. Będziesz odpowiedzialny za całość potoków danych: od pozyskania, ładowania i transformacji, przez wdrażanie reguł biznesowych/analityki, aż po dostarczenie końcowemu użytkownikowi (biznes / nauka o danych / AI).

Będziesz również ściśle współpracować z działem biznesowym i innymi zespołami dostarczającymi, jak również z zespołem nauki o danych, aby zrozumieć ich potrzeby związane z danymi i dostarczyć wymaganą infrastrukturę danych do ich działań. Ponadto będziesz optymalizować wydajność systemów przetwarzania danych, poprawiając zapytania do bazy danych, poprawiając czasy dostępu do danych i redukując opóźnienia.

Ta rola wymaga silnych umiejętności kodowania w SQL i Pythonie, przy jednoczesnym przestrzeganiu ugruntowanych praktyk inżynieryjnych.

Wymaga się wysokiej umiejętności komunikacji. Powinieneś bez trudu tłumaczyć techniczne wyrażenia na język zrozumiały dla osób nie technicznych oraz przekształcać wymagania biznesowe w wymagania techniczne.

Kwalifikacje

• Ponad 10 lat doświadczenia w inżynierii danych
• Znajomość baz danych MPP (Snowflake, Redshift, Big Query, Azure DW) i/lub Apache Spark
• Doświadczenie w tworzeniu odpornych na awarie potoków danych dla dużych zestawów danych
• Znaczna znajomość AWS lub chmury w zakresie podstawowych i rozszerzonych usług
• 8+ lat doświadczenia z co najmniej trzema z następujących: ECS, EKS, Lambda, DynamoDB, Kinesis, AWS Batch, ElasticSearch/OpenSearch, EMR, Athena, Docker/Kubernetes
• Znajomość Pythona i SQL, wraz z doświadczeniem w modelowaniu danych
• Doświadczenie z nowoczesnymi narzędziami do orkiestracji (Airflow / Dagster / Prefect / similar) i / lub DBT
• Zdolność do pracy w dynamicznym środowisku z pewnym stopniem niepewności

Dodatkowe informacje

Pożądane:

• Infrastruktura jako kod (Terraform, Cloud Formation, Ansible, Serwerless)
• Pipelines CI/CD (Jenkins / BitBucket Pipelines / similar)
• Umiejętność strojenia bazy danych/SQL
• Podstawowe zrozumienie koncepcji nauki o danych