Starszy Inżynier Danych (Spark i Java)

Obowiązki - Projektowanie, rozwijanie i utrzymanie przepływów danych za pomocą Apache Spark, aby efektywnie przetwarzać i transformować duże ilości danych. - Współpraca z architektami danych i innymi zainteresowanymi stronami w celu zdefiniowania architektury danych i najlepszych praktyk. - Zapewnienie, że modele i struktury danych są zgodne z wymaganiami biznesowymi i skalowalne pod kątem przyszłych potrzeb. - Praca nad przetwarzaniem danych w czasie rzeczywistym i strumieniowaniem za pomocą Spark Streaming. - Optymalizacja zadań Spark i kodu Java pod kątem wydajności, skalowalności i wykorzystania zasobów. - Monitorowanie i rozwiązywanie problemów z przepływem danych, aby zapewnić minimalny czas przestoju i maksymalną wydajność. - Wdrażanie kontroli jakości danych, walidacji danych i mechanizmów obsługi błędów, aby utrzymać integralność danych. - Zapewnienie zgodności z politykami zarządzania danymi i bezpieczeństwa. - Dokumentowanie procesów inżynierii danych, przepływów danych i konfiguracji do przyszłego odniesienia. - Współpraca z naukowcami zajmującymi się danymi, analitykami i interesariuszami biznesu w celu zrozumienia wymagań dotyczących danych i dostarczania rozwiązań spełniających ich potrzeby. - Ustawianie systemów monitorowania i alarmowania w celu proaktywnej identyfikacji i rozwiązywania problemów z przepływem danych. - Wykonywanie rutynowych zadań konserwacyjnych i utrzymanie oprogramowania i systemów na bieżąco. Wymagania - Licencjat lub wyższe wykształcenie w dziedzinie informatyki, technologii informacyjnych lub pokrewnej. - Znajomość Javy w zakresie tworzenia oprogramowania. - Obszerne doświadczenie z Apache Spark, w tym Spark SQL i Spark Streaming. - Znajomość dużych technologii i ram danych, takich jak Hadoop, HDFS i powiązane narzędzia. - Zrozumienie koncepcji i technologii magazynowania danych. - Doświadczenie z systemami baz danych (SQL i NoSQL). - Silne umiejętności rozwiązywania problemów i zdolność do pracy w atmosferze współpracy i pracy zespołowej. - Doskonałe umiejętności komunikacyjne i dokumentacyjne. - Zrozumienie najlepszych praktyk dotyczących bezpieczeństwa danych, prywatności i zgodności.