Inżynier Danych DataOS

Inżynier Danych DataOS Opis - Inżynier Danych DataOS pracuje nad najnowocześniejszymi rozwiązaniami w zakresie skalowalnych rozwiązań do pobierania danych, manipulacji nimi i kompleksowej integracji bloków danych, aby wspierać produkty danych sterowane przez biznes. Ta rola polega na zastosowaniu zdobytej wiedzy z danej dziedziny do rozwiązywania typowych i skomplikowanych problemów biznesowych w ramach ustalonych wytycznych i zalecania odpowiednich alternatyw. Praca dotyczy problemów o różnym stopniu skomplikowania i zakresie. Może pełnić rolę coacha zespołu lub projektu, kierując działaniami zespołu i ułatwiając procesy weryfikacji informacji i podejmowania decyzji przez zespół. Wykorzystuje swoje osądy w ramach ogólnie zdefiniowanych polityk i praktyk, aby identyfikować i wybierać rozwiązania. Potrafi poradzić sobie z większością unikalnych sytuacji. W przypadku skomplikowanych problemów biznesowych może zasięgać porad. Obowiązki - Projektuje i tworzy bezpieczne i wydajne architektury danych, ulepszenia, aktualizacje i zmiany programowania dla części i podsystemów kanałów produktów danych, repozytoriów lub modeli dla strukturalnych/nieustrukturyzowanych danych. Skupia się na opracowywaniu bibliotek dla współużytkowników, które skracają czas rozwoju i utrzymania. - Analizuje projekt i określa wymagane aktywności związane z kodowaniem, programowaniem i integracją na podstawie ogólnych celów i wiedzy na temat ogólnej architektury produktu lub rozwiązania. - Pisze i wykonuje kompleksowe plany testów, protokoły i dokumentację dla przypisanej części systemu danych lub komponentu. Identyfikuje, debuguje i tworzy rozwiązania dla problemów z kodem i integracją z architekturą systemu danych. - Kieruje zespołem projektowym innych inżynierów danych w celu opracowania niezawodnych, opłacalnych i wysokiej jakości rozwiązań dla przypisanego systemu danych, modelu lub komponentu. - Współpracuje i komunikuje się z zespołem projektowym na temat postępów w projekcie i rozwiązania problemów. Wspiera procesy i narzędzia do współtworzenia rozwiązań, promując wspólne podejścia do rozwiązywania złożonych problemów. - Reprezentuje zespół inżynierów danych we wszystkich fazach większych i bardziej złożonych projektów rozwojowych. - Zapewnia wsparcie i mentoring dla mniej doświadczonego personelu. Wymagane jest silne przywództwo techniczne. Wiedza & umiejętności - Korzysta z narzędzi, języków (Python jest niezbędny. Java Scala będzie dodatkowym atutem) i ram do inżynierii danych, aby wydobywać, oczyszczać i badać duże zestawy danych. - Biegły w SQL i chmurowych systemach danych. Doświadczony w relacyjnym modelowaniu danych. - Biegły w złożonych, rozproszonych i masowo równoległych systemach chmurowych (AWS, GCP, AZURE). - Silne umiejętności analityczne i rozwiązywania problemów, z umiejętnością reprezentowania złożonych algorytmów w oprogramowaniu. - Możliwość projektowania systemów/solucji danych do zarządzania złożonymi danymi, które są wysoce skalowalne i wydajne. - Zdolność do tuningu wydajności kodu Spark. - Silne zrozumienie technologii baz danych i systemów zarządzania. - Silne zrozumienie systemów/usług opartych na chmurze. Wiedza, która pozwala na różnicowanie korzyści z dużej ilości danych Lake House vs Warehouse. - Doświadczenie z narzędziami do sterowania przepływem pracy (Airflow, Jenkins) - Rozległe doświadczenie z środowiskami notebooka (Jupyter, DataBricks) - Doświadczenie w zbieraniu wymagań od partnerów i wybieraniu odpowiednich technologii, aby spełnić wymagania dotyczące przepływu danych od początku do końca (rozmiar danych, terminy dostawy: co godzinę, codziennie, miesięcznie lub podejścia w czasie rzeczywistym). - Znajomość metodyki testowania architektury bazy danych, w tym wykonania planów testów, debugowania i skryptów testujących oraz narzędzi. - Doskonałe umiejętności pisania i mówienia w języku angielskim i języku lokalnym. - Zdolność do skutecznego komunikowania się architektur produktów, propozycji projektowych i negocjowania opcji na poziomach kierowniczych. Zakres & wpływ - Współpracuje z rówieśnikami, młodszymi inżynierami, naukowcami zajmującymi się danymi i zespołem projektowym. - Zazwyczaj współpracuje z wysoko postawionymi specjalistami, menedżerami i zespołami programów. - Kieruje projektem wymagającym rozwoju rozwiązań z zakresu inżynierii danych. Edukacja i doświadczenie - Tytuł licencjata lub magistra z informatyki, inżynierii danych, systemów informacyjnych, inżynierii bądź pokrewnych. - Zazwyczaj wymagane jest 4-6 lat doświadczenia. Stanowisko - Oprogramowanie Harmonogram - Pełny etat Zmiana - Bez dodatkowych świadczeń za pracę zmianową (Stany Zjednoczone Ameryki) Podróże - Przeniesienia - EEO Tagline - HP Inc. jest pracodawcą równych szans. Rozpatrujemy kandydatów bez względu na rasę, kolor skóry, wyznanie, płeć, pochodzenie narodowe, status weterana lub niepełnosprawności.