Software Engineer, Backend - Data Platform (Big Data Infra)

Dołącz do Benchling jako Inżynier Oprogramowania Backendowego: Platforma Danych (Big Data Infra)

Zrewolucjonizuj biotechnologię z Benchling

W Benchling mamy misję napędzania przyszłości biotechnologii za pomocą naszej najnowocześniejszej platformy chmurowej R&D. Współpracujemy z wiodącymi na świecie firmami biotechnologicznymi, aby przyspieszyć przełomy naukowe, znacząco skracając czas od odkrycia do wprowadzenia na rynek. Jako część naszego dynamicznego zespołu będziesz miał szansę wpłynąć na przełomowe produkty, które transformują nasze codzienne życie.

Przegląd roli

Jako kluczowy członek zespołu inżynieryjnego Platformy Danych Benchling, będziesz pomagać w architekturze i budowie naszych nowej generacji usług danych. Są one kluczowe w umożliwieniu programistom tworzenia solidnych, wielodostępnych aplikacji danych i produktów analitycznych. Dodatkowo, będziesz przyczyniać się do naszej strategii gotowości AI, zapewniając bezproblemowe doświadczenie dla programistów wykorzystujących naszą infrastrukturę danych do budowy aplikacji wspieranych przez AI.

Kluczowe obowiązki

• Projektowanie i obsługa systemu rozproszonego przesyłania wiadomości o wysokiej przepustowości, takiego jak Kafka/Kinesis, dla płynnej integracji danych.
• Rozwój najnowocześniejszej hurtowni danych i platformy obliczeniowej zaspokajającej wymagania zarówno wewnętrznych, jak i zewnętrznych klientów.
• Tworzenie i zarządzanie rejestrem DSL & schematów, wspierając projektowanie niestandardowych modeli danych i asynchronicznych migracji danych przez ogromne zbiory danych.
• Aktywne projektowanie transformacji danych i rurociągów, priorytetowo traktując integralność i prywatność danych.
• Ustanawianie celów poziomu usług (SLOs) dla rurociągów danych wsadowych i strumieniowych oraz optymalizacja ich wydajności.
• Implementacja rurociągów CI/CD dla dostarczania platformy danych i zarządzanie pełnym cyklem operacji danych.
• Współpraca między zespołami w celu ustalenia najlepszych praktyk wykorzystania platformy danych.

Kwalifikacje

• Minimum 3 lata doświadczenia w inżynierii oprogramowania, z udokumentowanymi sukcesami.
• Głęboka znajomość analityki danych, rozwiązań do hurtowni danych takich jak Snowflake, Delta Lake, AWS Redshift itp.
• Biegłość w technologiach przetwarzania danych takich jak Kafka, Kinesis, Spark, Flink.
• Ekspertyza w projektowaniu schematów, SQL i rejestru schematów.
• Mocne umiejętności skryptowe w Pythonie oraz doświadczenie z narzędziami do zarządzania infrastrukturą i konfiguracją takimi jak Terraform, Ansible.
• Zdolności w zakresie systemów zarządzania kontenerami takich jak Kubernetes lub Amazon ECS.
• Zaangażowanie w dostarczanie wyników o wysokim wpływie, które przyspieszają badania w naukach przyrodniczych.
• Mocne umiejętności komunikacyjne i zdolność upraszczania skomplikow