Pan Databricks Developer

Starszy Programista Databricks będzie odpowiedzialny za wdrażanie i utrzymanie rozwiązań na platformie AWS Databricks. Będziesz zarządzać zgłoszeniami dotyczącymi danych od różnych zespołów, oceniać i zatwierdzać efektywne metody wprowadzania, pozyskiwania i przekształcania danych oraz utrzymywać je w modelu wielokrotnego skoku. Będziesz także współpracować z członkami zespołu, pomagając w uczeniu innych programistów i poszerzaniu ich wiedzy i doświadczenia. Będziesz pracować w szybkim tempie, środowisku o dużym natężeniu przesyłania danych, gdzie jakość i dbałość o szczegóły są kluczowe. GŁÓWNE OBOWIĄZKI • Projektowanie i tworzenie wydajnych, bezpiecznych rozwiązań Databricks za pomocą Pythona, Sparka, PySparka, tabel Delta, UDP i Kafka. • Tworzenie wysokiej jakości dokumentacji technicznej, w tym mapowania danych, procesów danych i poradników wsparcia operacyjnego. • Tłumaczenie wymagań biznesowych na projekt modelu danych i rozwiązania techniczne. • Tworzenie potoków pobierania danych przy użyciu Pythona, Sparka & PySparka dla procesów pobierania danych niemal w czasie rzeczywistym i wsadowych. • Utrzymanie jeziora danych i procesów przesyłania danych, w tym rozwiązywanie problemów, dostrojenie wydajności i poprawa jakości danych. • Ścisła współpraca z liderami technicznymi, menedżerami produktów i zespołem raportowania w celu zebrania wymagań funkcjonalnych i systemowych. • Praca w szybkim tempie i efektywne działanie w atmosferze zwinnej metodyki rozwoju. WYMAGANIA W ZAKRESIE WIEDZY I UMIEJĘTNOŚCI • Tytuł licencjata z informatyki, systemów informacyjnych lub równoważnego stopnia. • Konieczne jest 8+ lat doświadczenia w tworzeniu aplikacji przy użyciu Pythona, Sparka, PySparka, Java, Junit, Maven i jego ekosystemu. • Konieczne jest 4+ lat praktycznego doświadczenia z AWS Databricks i pokrewnymi technologiami, takimi jak MapReduce, Spark, Hive, Parquet i AVRO. • Dobre doświadczenie w pełnej implementacji projektów DW BI, zwłaszcza w zakresie tworzenia hurtowni danych i magazynów danych. • Znaczne praktyczne doświadczenie z operacjami RDD, DataFrame i Dataset w Spark 3.x. • Doświadczenie z projektowaniem i wdrażaniem frameworków ETL/ELT dla skomplikowanych magazynów/hurtowni. • Znajomość dużych zestawów danych i doświadczenie z dostrojeniem wydajności i rozwiązywaniem problemów. • Przyda się doświadczenie z AWS Cloud Analytics w zakresie usług Lambda, Athena, S3, EMR, Redshift, Spectrum Redshift. • Konieczna znajomość systemów zarządzania relacyjnymi bazami danych (RDBMS): Microsoft SQL Server, Oracle, MySQL. • Znajomość systemu operacyjnego Linux. • Zrozumienie architektury danych, replikacji i administracji. • Doświadczenie w pracy z danymi w czasie rzeczywistym przy użyciu dowolnego narzędzia do przesyłania danych. • Silne umiejętności debugowania do rozwiązywania problemów produkcyjnych. • Znajomość pracy w zespole. • Praktyczne doświadczenie z Shell Scripting, Java oraz SQL. • Umiejętność identyfikacji problemów i skutecznego komunikowania rozwiązań współpracownikom i zarządzaniu. Labcorp jest dumnym pracodawcą gwarantującym Równość Szans w Zatrudnieniu: Jako pracodawca EOE/AA, Labcorp promuje zróżnicowanie i integrację w miejscu pracy i nie toleruje jakiejkolwiek formy nękania czy dyskryminacji. Nasze decyzje dotyczące zatrudnienia opierają się na potrzebach naszego biznesu i kwalifikacjach kandydata, a nie dyskryminujemy ze względu na rasę, religię, kolor skóry, pochodzenie narodowe, płeć (w tym ciążę lub inne stanów medyczne/potrzeby), rodzinny lub rodzicielski status, stan cywilny, związek partnerski, orientację seksualną, tożsamość płciową, ekspresję płciową, wygląd osobisty, wiek, status weterana, niepełnosprawność, informacje genetyczne, czy jakąkolwiek inną cechę prawnie chronioną. Zachęcamy wszystkich do składania aplikacji. Aby uzyskać więcej informacji o tym, jak zbieramy i przechowujemy twoje dane osobowe, zapoznaj się z naszym Oświadczeniem o prywatności.