Architekt Silnika Zapytań - Przyspieszony Apache Spark

Szukamy doświadczonego architekta silnika zapytań do rozwijania Apache Spark i powiązanych z nim frameworków na GPU. Nvidia, lider w dziedzinie przyspieszonego przetwarzania, rozwija kolejną generację ekosystemu przetwarzania danych. Apache Spark to popularnie używany silnik przetwarzania danych o charakterze rozproszonym dla różnego rodzaju obciążeń, w tym przygotowywania danych, generowania cech, raportowania, analityki i wiele innych. Takie obciążenia często wymagają znaczącej ilości czasu i mocy obliczeniowej, co utrudnia efektywne prowadzenie operacji biznesowych. W NVIDIA podejmujemy się trudnych problemów, które mają znaczenie. Będziesz współpracować z otwartoźródłową społecznością, aby ułatwić przetwarzanie danych Apache Spark za pomocą GPU. Przyspieszenie przepływów danych może przynieść znaczne korzyści dla naukowców zajmujących się danymi, umożliwiając im szybsze i skuteczniejsze badanie większych zestawów danych, aby osiągnąć cele biznesowe. Twoje obowiązki: - Prowadzenie działań związanych z optymalizacją zapytań w ramach zespołu RAPIDS Spark. - Ocena każdego etapu przetwarzania zapytań i identyfikacja obszarów do optymalizacji logicznego i fizycznego planu. Tworzenie optymalnych planów z uwzględnieniem zasobów sprzętowych CPU i GPU. - Wyszukiwanie okazji do adaptacyjnego wykonywania zapytań z uwzględnieniem zasobów, na przykład adaptacji na podstawie cech CPU lub GPU. - Identyfikacja obszarów, w których fuzja operatorów może poprawić wydajność. - Analiza praktyk stosowanych w silnikach przetwarzania kolumnowego, by sprawdzić, jak mogą być one zastosowane do przetwarzania kolumnowego opartego na GPU. - Angażowanie się w działania społeczności otwartego źródła, w tym Apache Spark i RAPIDS, do technicznych dyskusji i wkładów. - Współpraca z strategicznymi partnerami Nvidia w zakresie wdrażania rozwiązań do przyspieszonego przetwarzania danych na publicznej chmurze lub klastrach lokalnych. - Prezentowanie technicznych rozwiązań na konferencjach branżowych i meet up-ach. Czego oczekujemy: - Uzyskanie stopnia licencjata, magistra lub doktora w dziedzinie informatyki, technologii komputerowej lub podobnego doświadczenia. - Co najmniej 15 lat doświadczenia zawodowego lub badawczego w dziedzinie tworzenia oprogramowania. - Co najmniej 5 lat doświadczenia w pracy z kluczowymi projektami Big Data o otwartym źródle jako współtwórca lub komitent, w tym Apache Spark, Apache Hadoop, Apache Hive, Apache Flink, Apache Impala, Apache Drill, Apache Calcite i Substrait. - Wyjątkowe umiejętności techniczne w zakresie budowy i implementacji wysokiej jakości systemów rozproszonych. - Głęboka wiedza na temat silników zapytań do baz danych i optymalizacji zapytań. - Doskonałe umiejętności programowania w C++, Java i/lub Scala. - Zrozumienie planistów rozproszonych systemów: Kubernetes, Hadoop YARN, samodzielne Spark i/lub Mesos. - Umiejętność współpracy z wielofunkcyjnymi zespołami w różnych lokalizacjach. - Silna motywacja i umiejętności interpersonalne. Jak się wyróżnić: - Wkład w duże projekty open-source, takie jak Apache Spark, Apache Hive, Apache Impala, Apache Drill, Substrait, Apache Calcite. - Zawodowe doświadczenie z bibliotekami przyspieszającymi (CUDA, RAPIDS, UCX). - Podstawowe doświadczenie w uczeniu maszynowym/głębokim z pomocą Spark ML i XGBoost. Jesteśmy uznawani za jednego z najbardziej atrakcyjnych pracodawców w świecie technologii i dlatego możemy pochwalić się najbardziej innowacyjnymi i pracowitymi osobami w naszych zespołach. Jeśli jesteś pełen pasji, kreatywny i zmotywowany, z przyjemnością przyjmiemy Cię do naszego zespołu. Oprócz konkurencyjnych wynagrodzeń i kompleksowego pakietu świadczeń, oferujemy kreatywne i autonomiczne środowisko inżynieryjne. Ze względu na nasz bezprecedensowy wzrost, szybko rozwijamy nasze wyłączne zespoły inżynierskie. Zachęcamy do składania aplikacji zainteresowanych kandydatów, którzy mają prawdziwą pasję do technologii. Zakres wynagrodzenia wynosi od 268 000 USD do 414 000 USD. Twoje wynagrodzenie będzie ustalane na podstawie twojej lokalizacji, doświadczenia i wynagrodzenia pracowników na podobnych stanowiskach. Będziesz miał prawo do udziałów i świadczeń. NVIDIA przyjmuje zgłoszenia na bieżąco.