Staff Software Engineer – Cloud Data Pipeline

Firma: Calix

Lokalizacja: Bangalore, Indie

Calix jest pionierem w transformacji dostawców usług, aby dostarczać unikalne doświadczenia subskrybentom w inteligentnych domach i środowiskach biznesowych. Korzystamy z usług chmurowych opartych na rolach, telemetrii, analityki, automatyzacji i adaptacyjnych sieci sterowanych oprogramowaniem, aby skutecznie monetyzować ich sieci. Jako część naszego wysoko wydajnego globalnego zespołu, idealny kandydat będzie miał znaczny wpływ jako Inżynier Danych w Chmurze, zarządzając projektowaniem architektury, implementacją i technicznym przewodnictwem w dziedzinach pobierania, ekstrakcji i transformacji danych.

Obowiązki i Zadania

• Ścisła współpraca z właścicielami produktów chmurowych w celu zrozumienia i analizy wymagań produktowych oraz dostarczenia konstruktywnej informacji zwrotnej.
• Projektowanie i przegląd architektury chmurowych rurociągów danych, koncentrując się na usługach związanych z pobieraniem, ekstrakcją i transformacją danych.
• Implementacja i doskonalenie narzędzi wspierających monitorowanie, rozwiązywanie problemów z rurociągami danych oraz interpretację trendów i wzorców.
• Zapewnienie technicznego przewodnictwa w projektowaniu oprogramowania, aby zapewnić stabilność, niezawodność, skalowalność i bezpieczeństwo usług.
• Prowadzenie dyskusji technicznych w zespole inżynierskim i dostarczanie merytorycznych rekomendacji technicznych.
• Przeprowadzanie recenzji projektów i kodu z innymi inżynierami.
• Kierowanie architekturą testowania dla dużych procesów pobierania i transformacji danych.
• Pełnienie roli inżyniera kontaktującego się z klientem w celu debugowania i rozwiązywania problemów w terenie.

Kwalifikacje

• Dyplom BS w dziedzinie Informatyki, Inżynierii, Matematyki lub równoważne doświadczenie.
• Ponad 10 lat doświadczenia w inżynierii oprogramowania.
• Ponad 4 lata doświadczenia w implementacji ETL i/lub rurociągów danych.
• Wysoce zorganizowany i skoncentrowany na celach, zdolny do pracy w szybkim tempie.
• Silne zrozumienie systemów rozproszonych i RESTful APIs.
• Doświadczenie w projektach big data opartych na chmurze, najlepiej w AWS lub Azure.
• Praktyczne doświadczenie w implementacji infrastruktury rurociągów danych dla pobierania i transformacji danych, zapewniając prawie rzeczywistą dostępność danych dla aplikacji, analityki BI i rurociągów ML.
• Bardzo dobra znajomość technologii Data Lake, formatów przechowywania danych (Parquet, ORC, Avro) oraz silników zapytań (Athena, Presto, Dremio).
• Doświadczenie w projektowaniu rozwiązań przesyłania strumieniowego i opartych na zdarzeniach danych (Kafka, Kinesis, itp.).
• Udokumentowane doświadczenie w budowaniu rurociągów danych za pomocą narzędzi takich jak Flink czy Spark.
• Doświadczenie z chmurowymi magazynami danych, takimi jak Greenplum, RedShift, Azure SQL Data Warehouse.
• Zdolność do projektowania optymalnych kosztowo rozwiązań dla dużych zbiorów danych przy użyciu otwartych frameworków.
• Znajomość i doświadczenie z natywnymi usługami