Starszy Inżynier Oprogramowania Systemowego - Wydajność - Przyspieszony Apache Spark

Poszukujemy doświadczonych inżynierów oprogramowania systemowego, którzy są biegli w Apache Spark, do naszego zespołu, aby przyspieszyć innowacje w zakresie przyspieszonego przetwarzania danych na GPU. Jako że Nvidia jest na czele w zakresie przyspieszonych obliczeń, tworzymy kolejne pokolenie ekosystemów przetwarzania danych. Naukowcy zajmujący się danymi poświęcają znaczną ilość czasu na badanie danych i iterowanie eksperymentów z uczeniem maszynowym (ML). Każda godzina obliczeń potrzebna do przebrnięcia przez zbiory danych, ekstrakcji cech i dopasowania algorytmów ML utrudnia efektywny przepływ pracy. Nvidia wierzy, że procesy przetwarzania danych mogą znacznie skorzystać na szybkości, umożliwiając naukowcom badania wielu znaczących zbiorów danych w celu szybszego i bardziej efektywnego dążenia do celów biznesowych. W firmie NVIDIA z entuzjazmem podchodzimy do pracy nad trudnymi problemami mającymi rzeczywisty wpływ. Będziesz musiał mieć doświadczenie w pracy z aplikacjami Apache Spark, realizacji aplikacji Big Data dla różnorodnych klientów, umiejętności programistyczne, a także zapoznanie się z otwartoźródłowymi ramami przetwarzania Big Data. Będziesz współpracować z zespołem inżynieryjnym nad przyspieszeniem Apache Spark z wykorzystaniem GPU, za pomocą CUDA i otwartoźródłowych bibliotek. Jest to kluczowa inwestycja dla Nvidii. Kod jest adoptowany przez wielu dostawców usług chmurowych i dystrybucji Apache Spark. Jako że Nvidia jest liderem w dostarczaniu przyszłym centrom danych platformy superchipowej CPU-GPU, przyspieszanie przetwarzania danych stanie się koniecznością dla wszystkich przedsiębiorstw. Co będziesz robić: - Skalowanie przyspieszenia Apache Spark dla wysokiej klasy GPU i z nową platformą superchipów Grace Hopper. - Współpraca z wybranymi klientami i partnerami w celu przyspieszenia działania aplikacji Apache Spark na GPU zarówno w środowiskach lokalnych, jak i chmurowych. - Przeprowadzanie benchmarków i optymalizowanie obciążeń roboczych Apache Spark na GPU dla przyspieszenia wydajności. - Konstruowanie narzędzi do analizy obciążeń przetwarzania danych w celu identyfikacji możliwości przyspieszenia i oszczędności kosztów. - Pomoc w definiowaniu referencyjnej architektury dla chmury obliczeniowej nowej generacji. - Współpraca z głównymi światowymi dostawcami usług chmurowych i dostawcami Spark w celu umożliwienia przyspieszonych obliczeń dla przypadków użycia w przetwarzaniu danych. Czego oczekujemy: - 8+ lat doświadczenia w rozwoju oprogramowania, z przewagą w przetwarzaniu danych. - 3+ lat praktycznego doświadczenia z projektowaniem i tworzeniem aplikacji Apache Spark. - Tytuł licencjata/magistra/doktora w dziedzinie informatyki lub pokrewnych dziedzin. - Znajomość otwartoźródłowego ekosystemu danych (Apache Hadoop, Flink, Presto, Hive, Kafka, TensorFlow, PyTorch itp.) - Głębokie zrozumienie optymalizacji wydajności w warunkach niskiego poziomu. - Doświadczenie w pisaniu wysokowydajnego oprogramowania rozproszonego na dużą skalę. - Doświadczenie w pracy na platformach chmurowych - zarówno publicznych, jak i prywatnych. - Wcześniejsze doświadczenie w obsłudze klientów korporacyjnych. - Znajomość SQL, Pythona i Scala/Java. - Doskonałe umiejętności komunikacyjne, prezentacyjne i techniczne. Sposoby na wybicie się z tłumu: - Znajomość RAPIDS i UCX. - Doświadczenie w optymalizacji wydajności w CSP dla przypadków użycia Big Data. - Zrozumienie i doświadczenie w konfiguracji sprzętu pod kątem wydajności i kosztów. - Doświadczenie w pracy i tworzeniu na GPU. Jesteśmy szeroko uznawani za jednego z najbardziej pożądanych pracodawców w świecie technologii. W rezultacie pracują tam najbardziej innowacyjne i pracowite osoby na świecie. Jeśli jesteś pełen pasji, kreatywny i zdeterminowany, chcielibyśmy Cię w naszym zespole. Oferujemy konkurencyjne wynagrodzenia i kompleksowy pakiet świadczeń. Jesteśmy uważani za jednego z najciekawszych pracodawców w sektorze technologicznym. Pracują u nas najbardziej kreatywne i ciężko pracujące osoby na świecie. Z powodu wyjątkowego wzrostu, nasze ekskluzywne zespoły inżynieryjne szybko się rozrastają. Jeśli jesteś kreatywnym i samodzielnym inżynierem z prawdziwą pasją do technologii, chcielibyśmy usłyszeć od Ciebie. Zakres podstawowych wynagrodzeń to 216 000 USD - 333 500 USD. Twoje podstawowe wynagrodzenie będzie ustalane na podstawie Twojego miejsca zamieszkania, doświadczenia oraz wynagrodzeń pracowników na podobnych stanowiskach. Dodatkowo do swojej pensji, będziesz miał też możliwość uczestniczenia w programie akcji pracowniczych oraz korzystania z dodatkowych benefitów. NVIDIA przyjmuje zgłoszenia na bieżąco.