Senior Data Engineer

W firmie CNA Insurance wierzymy w umożliwienie naszym pracownikom osiągnięcia pełnego potencjału, wspieranego przez wyjątkowe przywództwo. Jesteśmy zaangażowani w tworzenie kultury, w której każdy czuje się świeżo i jest częścią czegoś ważnego. Nasz kompleksowy i konkurencyjny pakiet świadczeń został zaprojektowany, aby pomóc Tobie i Twojej rodzinie osiągnąć cele zdrowotne, finansowe, emocjonalne i społeczne.

Aby uzyskać więcej szczegółów, zapoznaj się z naszym Przewodnikiem dla Kandydatów.

Rola Senior Data Engineer jest wysoce wyspecjalizowaną pozycją indywidualnego współpracownika, skoncentrowaną na projektowaniu, rozwoju i integracji strategicznych, wysokoprioritetowych aplikacji danych w całym cyklu życia oprogramowania (Agile). Będziesz także udzielać wskazówek, aby wspierać budowanie skomplikowanych możliwości technicznych.

Wykonywanie kombinacji obowiązków zgodnie z wytycznymi departamentów, w tym:

• Prowadzenie projektowania i budowania rozwiązań i aplikacji danych, które ułatwiają raportowanie, analitykę, naukę o danych i zarządzanie danymi.
• Prowadzenie zespołów deweloperskich w budowaniu skomplikowanych możliwości technicznych.
• Prowadzenie projektowania, wdrażania i automatyzacji przepływów danych, pozyskiwanie danych zarówno z systemów wewnętrznych, jak i zewnętrznych, oraz ich transformacja w celu spełnienia różnych wymagań biznesowych.
• Przeprowadzanie solidnych testów jednostkowych w celu upewnienia się, że dostarczone rozwiązania odpowiadają projektom oraz wspierania testów wydania.
• Tworzenie zintegrowanych widoków danych na podstawie potrzeb biznesowych lub analitycznych.
• Tworzenie partii oraz rzeczywistych przepływów danych przy użyciu platformy chmurowej GCP i ram przetwarzania danych.
• Tworzenie przepływów danych/API za pomocą Pythona, SQL, Sparka i metod GCP.
• Tworzenie przepływów pracy Apache Airflow Composer przy użyciu skryptów Pythona w GCP do orkiestracji obliczeń w chmurze.
• Tworzenie skryptów Pythona w GCP do przetwarzania partii z zdefiniowanymi API w celu odczytu/zapisu danych do Big Query.
• Skonfigurowanie procesów powiadomień SNS lub PubSub dla powiadomień o zadaniach i powiadomień o ukończeniu.
• Identyfikacja i wdrożenie ulepszeń procesów w celu rozwiązania braków technologicznych.
• Utrzymywanie profesjonalnej wiedzy poprzez uczestnictwo w warsztatach, przeglądanie publikacji, nawiązywanie kontaktów i udział w społeczeństwach zawodowych.

100% pracy zdalnej dozwolonej z dowolnego miejsca w Stanach Zjednoczonych.

Typowo raportuje do Dyrektora lub powyżej.

Wymagane wykształcenie i doświadczenie:

• Tytuł licencjata w dziedzinie informatyki, technologii informacyjnej, inżynierii lub pokrewnej dziedziny.
• Pięć lat doświadczenia jako inżynier danych, analityk danych, deweloper oprogramowania, inżynier oprogramowania, analityk systemów, architekt techniczny lub w pokrewnych rolach.
• Doświadczenie w tworzeniu dużych partii oraz rzeczywistych przepływów danych przy użyciu platformy chmurowej GCP i ram przetwarzania danych.
• Doświadczenie w