Inżynier Danych - Platforma Chmury Google

Starszy Inżynier Danych - Bazy Danych Wektorowych | GCP

Kaizen Analytix LLC, firma specjalizująca się w produktach i usługach analitycznych, które dostarczają klientom niezrównaną szybkość do wartości poprzez rozwiązania analityczne i wartościowe wnioski biznesowe, szuka kandydatów do pracy na stanowisku Starszego Inżyniera Danych. Wybrani specjaliści będą odpowiedzialni za projektowanie, rozwijanie i utrzymanie przepływów danych i magazynów danych na platformie Google Cloud. Idealnym kandydatem będzie osoba mająca solidne zrozumienie zasad inżynierii danych i najlepszych praktyk, a także czująca się swobodnie pracując z dużymi, nieustrukturyzowanymi zestawami danych (100 GB+) takimi jak video, audio, obrazy i tekst. Szukamy osób, które mogą wspierać projekty AI, dostarczając niezbędną inżynierię danych do przechowywania wyników opartych na deep learning, takich jak osadzenia wektorowe, wykorzystując potężne technologie obliczeniowe.

Zakres obowiązków:

Analiza i projektowanie

• Przeprowadzenie sesji zbierania faktów od użytkowników.
• Konsultacje z menedżerami technicznymi i właścicielami biznesu w celu identyfikacji i analizy potrzeb i problemów technologicznych.
• Tworzenie diagramów przepływu danych i/lub modelowania procesów (architektura kodu).
• Projektowanie, rozwijanie i utrzymanie przepływów danych i magazynów danych na platformie Google Cloud.
• Współpraca z interesariuszami w celu gromadzenia wymagań i definiowania modeli danych.
• Tworzenie i wdrażanie przepływów danych przy użyciu narzędzi i usług Google Cloud Platform.
• Wdrażanie kontroli jakości danych i monitoringu.
• Rozwiązywanie problemów z danymi i problemów z wydajnością.
• Współpraca z innymi inżynierami w celu rozwijania i utrzymania infrastruktury danych firmy.
• Utrzymywanie na bieżąco wiedzy na temat najnowszych technologii i trendów w inżynierii danych.

Zgodność strategii

• Współpraca z innymi członkami zespołu technicznego w celu ciągłego doskonalenia strategii implementacji, standardów rozwoju i innych procesów i dokumentacji departamentu.
• Pomoc techniczna i mentoring dla mniej doświadczonych inżynierów danych.
• Regularne przekazywanie planów, statusu i problemów do zarządu.
• Przestrzeganie standardów departamentu, polityki, procedur i najlepszych praktyk w branży.

Wymagania:

• Tytuł licencjata/magistra informatyki, systemów informacyjnych lub pokrewnego kierunku.
• 5+ lat doświadczenia w inżynierii danych.
• Obowiązkowy certyfikat GCP Professional Data Engineer.
• Doświadczenie w projektach migracyjnych związanych z magazynowaniem danych i migracją baz danych z jednej technologii do drugiej.
• Bardzo dobre umiejętności programowania w Pythonie do tworzenia skryptów ETL.
• Porządne zrozumienie zasad inżynierii danych i najlepszych praktyk.
• Doświadczenie z innymi technologiami platformy Google Cloud, w tym BigQuery, Cloud Dataproc, Cloud Dataflow i Cloud Data Fusion.
• Doświadczenie z modelowaniem danych i magazynowaniem danych.
• Doświadczenie z kontrolą jakości danych i monitorowaniem.
• Doświadczenie z narzędziami IaC takimi jak Terraform, GCP Python Clients.
• Znajomość pipeline'ów CI/CD i biegłość w korzystaniu z takich narzędzi jak Jenkins, Cloud Build i TeamCity do tworzenia wymaganych pipeline'ów CI/CD.
• Osoba inicjująca rozwiązania i obejścia; zdolna do pracy pod ścisłymi terminami.
• Zdolność do rozwiązywania kluczowych problemów związanych z wdrażaniem klienta i podejmowania kroków w celu ich usunięcia.
• Odpowiedzialność za kompleksowe projektowanie rozwiązania, architekturę i najlepsze praktyki dla integracji z ekosystemem i infrastrukturą GCP.
• Umiejętność partnerowania z architektami domen w celu opracowania końcowej architektury rozwiązania, w tym aplikacji, infrastruktury, danych, integracji i domen bezpieczeństwa.

Mile widziane:

• Doświadczenie z analityką mediów społecznościowych, obsługą dużych wolumenów danych i dużych częstotliwości danych.
• Doświadczenie w pracy nad projektami rozwoju aplikacji skoncentrowanych na działaniach z zakresu inżynierii danych przy użyciu dowolnego języka programowania (Python, SQL, Java).
• Doświadczenie z narzędziami i koncepcjami dużych danych, takimi jak Hadoop, MapReduce, Spark, Hive, HBase, Apache Airflow (orkestracja).