Inżynier Danych w Zespole

NVIDIA poszukuje doświadczonych inżynierów systemów rozproszonych zorientowanych na inżynierię danych do rozwijania i skalowania swoich platform AI i uczenia głębokiego. Nasz zespół rozwija platformę deweloperską software 2.0 ze szczególnym naciskiem na zestawy danych dla rozwoju aplikacji AI. Razem zwiększymy zdolności NVIDIA do tworzenia i wdrażania najnowocześniejszych rozwiązań dla szerokiego spektrum aplikacji opartych na AI, takich jak autonomiczne pojazdy, opieka zdrowotna, wirtualna rzeczywistość, silniki graficzne i obliczenia wizualne. Dołącz do nas, aby pomóc ożywić autonomiczne pojazdy z naszymi partnerami NVIDIA! Co będziesz robić: - Projektować i budować skalowalne, rozproszone systemy do udoskonalania, obliczeń i przepływów danych, które zasilają naszą scentralizowaną platformę danych, IT Data Lake. - Projektować i konstruować skalowalne jeziora danych o rozmiarze petabajtów dla strukturyzowanych i nieustrukturyzowanych interfejsów zapytań o dane oraz mikrousługi do pobierania, indeksowania, wydobywania, przekształcania i zarządzania dużymi zestawami danych. - Opracować wzorce kosztów i użycia danych chmurowych do przeszukiwania, zbierania i przekształcania terabajtów danych codziennie. - Umożliwić modele i widoki danych na terabajtach danych, które mogą być wykorzystywane przez narzędzia analityczne, takie jak PowerBI, i tworzyć analitykę PowerBI dla raportowania finansowego. - Opracować i wdrożyć wsparcie dla wersjonowanych, śledzialnych i niezmienialnych zestawów danych w jeziorze danych w sposób rozproszony i skalowalny. - Optymalizować efektywny i przenikliwy wybór danych - kluczowy składnik udanego uczenia maszynowego! - Aktywnie pisać kod wysokiej jakości z dobrym projektem i architekturą, w pełni przetestowany i sprawdzony przez par. - Współpracować z różnymi zespołami produktowymi i inżynieryjnymi, aby zrozumieć ich dane i wymagania obliczeniowe (Software, Hardware, Automobile, AI), integrując ich innowacje i algorytmy w nasze systemy produkcyjne. - Automatyzować wszystko, co związane z mierzeniem, testowaniem, aktualizowaniem, monitorowaniem i sygnalizowaniem na platformie danych. Czego potrzebujemy: - Licencjat (lub równorzędne doświadczenie) lub magisterium w dziedzinie architektury komputerowej, informatyki lub pokrewnego kierunku inżynieryjnego intensywnego pod względem danych. - Ponad 8 lat udokumentowanego doświadczenia w inżynierii danych, pracy nad projektowaniem i tworzeniem oprogramowania z Big Data, ekosystemem Data Lake / Lake House, analizą danych, architekturą mikrousług na zapleczu i różnymi typami danych na dużą skalę. - Wnikliwe doświadczenie w tworzeniu potoków ETL przy użyciu Databricks, Spark, Python, SQL, Scala, Kafka, Presto, Parquet, Streaming, events, bots, ekosystem AWS / chmura. - Biegłość w tworzeniu mikrousług i korzystaniu z ram AWS, takich jak SQS, Stream, Kubernetes, EC2, S3, Lambda, itp. - Doświadczenie z potokami danych, analizą, narzędziami do wizualizacji takimi jak Elastic stack, Logstash, Kibana, Kafka, Grafana, Splunk, Pandas, Message brokers, Data modeling. - Znajomość architektury Data Lakehouse i technik Databricks od początku do końca, w tym komponentów Data Science. - Doświadczenie z cyklem życia danych od wprowadzenia danych, transformacji danych do warstwy konsumpcji danych. Znajomy z API i jego zastosowaniem. - Znajomość rozwiązań chmurowych takich jak Kendra, SageMaker, Auto-ML, Big Query, RedShift, Glue, Athena. Jak się wyróżnić: - Zrozumienie i doświadczenie z analizą kosztów i użycia to dodatkowy atut. - Ekspertyza w zakresie Spark, Parquet, streaming, events, Kafka, telemetry, MapReduce, Hadoop, Hive, Presto, Spark, metod kwerendy danych i tworzenia pulpitów nawigacyjnych. - Zrealizowanie przypadków użycia Enterprise, takich jak CMDB, zarządzanie, klasyfikacja szeregów czasowych, wykrywanie anomalii telemetrycznych, logi i pobieranie danych w czasie rzeczywistym za pomocą API. - Doświadczenie z danymi strukturyzowanymi, takimi jak Avro, Parquet, Protobuf, Thrift, oraz koncepcje ewolucji schematu. - Praktyczna znajomość Amazon Web Services, Kubernetes, Docker to dodatkowy atut. NVIDIA jest uznawana za jednego z najbardziej pożądanych pracodawców w świecie technologii. Pracują dla nas najbardziej innowacyjni i pracowici ludzie na tej planecie. Jeśli jesteś kreatywny i samodzielny, chcemy usłyszeć twoją opinię! Zakres podstawowej pensji wynosi od 160 000 USD do 304 750 USD. Twoja podstawowa pensja będzie ustalana na podstawie Twojego miejsca zamieszkania, doświadczenia i wynagrodzenia pracowników na podobnych stanowiskach. Będziesz również uprawniony do udziału w zyskach i korzyściach.