O Pinecone

Pinecone jest dedykowane rozwijaniu technologii wyszukiwania i baz danych w celu poprawy aplikacji AI na kolejną dekadę i dalej. Nasza intuicyjna baza danych wektorowych upraszcza włączanie wyszukiwania wektorowego do aplikacji AI. Od kiedy zapoczątkowaliśmy kategorię "bazy danych wektorowych", popyt gwałtownie wzrósł, co odzwierciedla się w rosnącej bazie naszych użytkowników.

Jesteśmy rozproszonym zespołem z grupami w Nowym Jorku, San Francisco, Tel-Awiwie i Manchesterze.

O roli

Pinecone szuka doświadczonego i zmotywowanego inżyniera dla naszego wewnętrznego zespołu Data Platform, który będzie nadzorować rozwój i konserwację naszej infrastruktury danych. Zapewni to efektywną orkiestrację, zarządzanie, jakość i dostępność danych na przestrzeni całej organizacji. Jako starszy inżynier w zespole Data, będziesz odgrywać kluczową rolę w budowaniu i optymalizacji naszego ekosystemu danych, co ułatwi dostarczanie danych, ich rozumienie, wgląd i pracę nad danymi na dużą skalę.

Będziesz pracować w szybkim i satysfakcjonującym środowisku, które wymaga pracy najwyższej jakości przy minimalnym nadzorze. Będziesz także wszechstronnym specjalistą, ponieważ wszyscy pełnimy wiele ról, a ty będziesz pracować bezpośrednio z kierownictwem firmy oraz mentować nowych inżynierów i naukowców zajmujących się danymi.

Odpowiedzialności

Projektowanie i budowa infrastruktury danych

Tworzenie skalowalnej, efektywnej infrastruktury danych, w tym orkiestracji, magazynu metryk, sklepu z cechami, zarządzania, jakości danych, ramy systemu alertów oraz procesów odwrotnego ETL.

Zapewnianie jakości danych i zarządzanie nimi

Rozwijanie solidnej ramy narzędzi do kontroli jakości danych i procesów zarządzania, aby utrzymać wysoką jakość i integralność danych na przestrzeni całego cyklu ich życia.

Współpraca z zespołami Data Science i Engineering

Ścisła współpraca z zespołami Data Science w celu zrozumienia ich potrzeb i gwarancji dostarczania i użyteczności danych do modelowania, eksperymentowania i analizy.

Czego szukamy:

• Pasjonat technologii

• 5+ lat doświadczenia z SQL i Python

• 5+ lat doświadczenia z tworzeniem i rozwijaniem systemów o wysokiej wydajności

• Informatyka, matematyka, pokrewne techniczne kierunki studiów lub równoważne doświadczenie

• Mocna wiedza na temat baz danych, magazynowania, infrastruktury danych, ELT/ETL

• Biegłość w konstruowaniu i optymalizowaniu infrastruktury danych za pomocą współczesnych technologii i ram (np. Kafka, Airflow, Integracje API, CI/CD, Terraform, itp ).

Dodatkowe punkty:

• Doświadczenie z platformami do orkiestracji

• Doświadczenie z infrastrukturą zarządzania danymi (RBAC, Jakość danych, Alerty, itp)

• Doświadczenie z chmurowymi rozwiązaniami magazynów danych (BigQuery, Snowflake)

• Znajomość i doświadczenie z wdrażaniem kodu i zarządzaniem zasobami K8s