Intermediate Data Engineer

Cel pracy: Ekscytująca możliwość dla doświadczonego Inżyniera Danych, aby stać się częścią innowacyjnego zespołu MLOps w k0deHut, gdzie będziesz miał kluczowe znaczenie w napędzaniu naszych istotnych aplikacji biznesowych dzięki swojej wiedzy z inżynierii danych. W k0deHut będziesz miał okazję projektować, wdrażać i zarządzać kompleksowymi rozwiązaniami danych we współpracy z zespołem ekspertów z różnych dziedzin technicznych.

Główne Obowiązki:

• Projektowanie i utrzymanie potoków ETL dla procesowania danych wsadowych i w czasie rzeczywistym.
• Zwiększanie efektywności i wydajności istniejących potoków.
• Prowadzenie działań w zakresie wizualizacji danych i raportowania.
• Architektura modyfikacji potoków danych przy użyciu zaawansowanych narzędzi dla projektów aktuarialnych i napędzanych przez AI.

Stos Technologiczny:

• Tworzenie oprogramowania z użyciem Python, SQL, Linux i skryptów powłoki.
• Wykorzystanie Docker do zarządzania kontenerami i orkiestracji.
• Znajomość Spark i środowiska Linux będzie dużym atutem.

Platformy i Narzędzia:

• Praca w środowiskach takich jak Azure Data Factory, dbt, Airflow i Databricks.
• Obeznanie z Kafka, Spark Streaming i bazami danych relacyjnymi oraz NoSQL.
• Doświadczenie z wysokowydajnymi bazami danych w pamięci będzie dodatkowym atutem.

DevOps i Automatyzacja:

• Integracja Azure DevOps dla usprawnionego przepływu pracy i współpracy między działami.
• Wykorzystanie Terraform dla efektywnego zarządzania infrastrukturą.
• Utrzymanie rygorystycznej dokumentacji procesów i wdrożeń technologicznych.

Współpraca:

• Ścisła współpraca z naukowcami danych, aktuariuszami, inżynierami oprogramowania w celu zaspokojenia potrzeb danych.
• Napędzanie architektury naszego nowoczesnego ekosystemu danych Machine Learning.

Atrybuty i Umiejętności Osobiste:

• Wysoka biegłość w Python, SQL i Linux.
• Mocne zrozumienie narzędzi i platform do przetwarzania dużych ilości danych.
• Wyśmienite umiejętności komunikacyjne z zdolnością do pracy z różnymi zespołami funkcjonalnymi.
• Mocne nastawienie na naukę i rozwój osobisty.

Edukacja i Doświadczenie:

• Licencjat lub magister w dziedzinie informatyki, inżynierii lub pokrewnej.
• Co najmniej 3 lata doświadczenia na podobnym stanowisku.

To jest pozycja hybrydowa z siedzibą w Sandton Jhb, oferująca elastyczność pracy częściowo zdal