Software Engineer, Analytics Data Infrastructure

O zespole: W OpenAI zespół Research Platform Analytics przoduje w projektowaniu, budowaniu i eksploatacji podstawowych struktur danych i analityki niezbędnych dla badań nad AI. Nasz cel jest jednoznaczny: napędzać badania nad AI w kierunku AGI, zarządzając krytycznymi komponentami stosu szkoleniowego badawczego. Obejmuje to wszystko, od zaawansowanych procesów przetwarzania danych po wyspecjalizowane biblioteki wspierające nasze modele szkoleniowe w rozproszonym środowisku, obok zapewnienia systemów obserwacji i analityki w celu poprawy jakości badań i zarządzania cyklem życia danych na dużą skalę.

O roli: W miarę rozwoju OpenAI potrzebujemy poświęconych i wykwalifikowanych inżynierów, aby wspierać rosnące wymagania naszych badaczy i inżynierów. Twoja rola będzie polegać na udoskonalaniu procesów przetwarzania danych, poprawie systemów obserwacji i realizacji projektów zarządzania cyklem życia danych, ze szczególnym naciskiem na efektywność, bezpieczeństwo i skalowalność. Stanowisko jest idealne dla osób doświadczonych w skalowaniu usług Kubernetes, debugowaniu opóźnień konsumentów Kafka, diagnozowaniu awarii systemów rozproszonych i tworzeniu end-to-end procesów przetwarzania danych. Niezależnie od tego, czy jesteś z San Francisco, CA, czy preferujesz pracę zdalną w USA, oferujemy elastyczny model pracy hybrydowej i pomoc w relokacji.

• Podjmuj wpływowe decyzje architektoniczne i inżynieryjne, korzystając ze swojego zaawansowanego doświadczenia i wiedzy.
• Zachowaj bezpieczeństwo, integralność i zgodność naszych danych z branżowymi i firmowymi standardami.
• Skaluj nasze platformy analityczne i danych, aby wspierać znaczący wzrost.
• Popraw wydajność firmy, rozwijając doskonałe narzędzia i systemy danych dla naszego zespołu.
• Współpracuj z różnymi zespołami, aby wprowadzać nowe funkcje i podstawowe możliwości.
• Zarządzaj niezawodnością systemu i uczestnicz w rotacji dyżurów w przypadku krytycznych interwencji.

Masz duże szanse na dopasowanie do tej roli, jeśli:

• Zbudowałeś zarówno strumieniowe, jak i wsadowe procesy przetwarzania danych przy użyciu narzędzi takich jak Kafka, Spark czy Flink.
• Posiadasz umiejętności w nowoczesnym zarządzaniu infrastrukturą z systemami takimi jak Kubernetes i Terraform.
• Posiadasz silne zainteresowanie lub doświadczenie w systemach obserwacji, szczególnie w kontekście szkolenia ML.
• Masz znaczące doświadczenie w organizacjach szkoleniowych ML, szczególnie z pre-transformacjami danych treningowych.
• Jesteś biegłym inżynierem oprogramowania ze specjalizacją w Pythonie i masz doświadczenie w zarządzaniu dużymi bazami kodu.
• Zajmowałeś się zarządzaniem cyklem życia danych w środowiskach o dużej skali, adresując