Podsumowanie stanowiska

Inżynier Danych tworzy ścieżki do przesyłania danych z ich źródła do magazynu danych. Ścieżki te są niezbędne, pozwalają organizacji na dostęp do swoich danych i ich analizę, co pomaga podejmować decyzje biznesowe. Rurociągi danych transportują i transformują dane zgodnie z ustalonymi zasadami biznesowymi lub analizami eksploracyjnymi, które firma chce przeprowadzić. Inżynier Danych przygotowuje i organizuje dane, które organizacje zgromadziły w swoich bazach danych i innych formatach.

Dzień z życia Inżyniera uczenia maszynowego

Dzień pracy Inżyniera Danych rozpoczyna się od budowania i dostarczania wysokiej jakości architektur danych i rurociągów w celu wsparcia klientów, analityków biznesowych i naukowców danych. Inżynierowie Danych współpracują z innymi zespołami technicznymi w celu ekstrakcji, transformacji i załadowania [ ETL ] danych z szerokiego zakresu źródeł danych. Skuteczni Inżynierowie Danych stale ulepszają bieżące raportowanie i procesy, a także automatyzują lub upraszczają obsługę self-service dla klientów. Inżynierowie Danych tworzą, kodują i wdrażają skrypty napisane w Pythonie, gdyż jest to główny język dla danych. Wszyscy Inżynierowie Danych są przede wszystkim Inżynierami Oprogramowania ze zrozumieniem procesu Software Development Life Cycle (SDLC).

Kluczowe obowiązki i odpowiedzialności

• Budować, testować i utrzymywać architektury danych dostarczone przez architekta danych
• Analizować surowe i organiczne dane
• Tworzyć systemy danych i rurociągi
• Projektować niezbędną infrastrukturę dla optymalnej ekstrakcji, transformacji i załadowania danych z różnorodnych źródeł danych, korzystając z technologii SQL i AWS 'big data'
• Tworzyć kod i skrypty dla architektów danych, naukowców danych i inżynierów jakości danych
• Zdobywać dane
• Identifikować metody zwiększania niezawodności, wydajności i jakości danych
• Tworzyć procesy związane z zestawami danych
• Przygotowywać dane do modelowania preskryptywnego i predyktywnego
• Automatyzować procedury zbierania i analizy danych, narzędzia do publikowania danych i raportowanie
• Budować algorytmy i prototypy
• Tworzyć narzędzia i programy analityczne
• Współpracować z naukowcami danych i architektami w ramach różnych projektów lub inicjatyw

Wymagania

• Licencjat lub magisterium z informatyki, inżynierii lub pokrewnego kierunku
• Certyfikat AWS Certified Big Data - Specialty
  • Posiadanie tego certyfikatu lub gotowość do jego zdobycia w ciągu dwóch tygodni od zatrudnienia
• 5+ lat doświadczenia na stanowisku Inżyniera Danych, najlepiej w roli doradczej lub konsultingowej
• Umiejętność programowania w językach takich jak Python, Java, czy Scala, oraz znajomość bibliotek i struktur przetwarzania danych (np. Spark, Hadoop, SQL itp.)
• Wszechstronne zrozumienie systemów baz danych (relacyjnych i NoSQL), modelowania danych i koncepcji magazynowania danych
• Doświadczenie z chmurą i usługami związanymi z danymi (np. AWS, Azure, Google Cloud), w tym znajomość odpowiednich narzędzi i technologii (np. S3, Redshift, BigQuery itp.)
• Umiejętność projektowania i implementowania procesów ETL i przepływów integracji danych, przy użyciu narzędzi takich jak Apache Airflow, Informatica lub Talend
• Znajomość praktyk zarządzania danymi, ram ochrony jakości danych i zasad ochrony danych
• Silne zdolności analityczne i rozwiązywania problemów, umiejętność przekładania wymagań biznesowych na techniczne rozwiązania
• Wyjątkowe umiejętności komunikacyjne i współpracy, z zdolnością skutecznego angażowania klientów i zespołów interdyscyplinarnych
• Samodzielność i inicjatywa, entuzjazm do nauki i śledzenia najnowszych rozwojów inżynierii danych
• Zdolność do pracy w warunkach niejasności i przekładania chęci i potrzeb klienta na realne historie i epiki podczas sprintu. Oznacza to, że Inżynierowie Danych rozumieją 'zwinny' postęp w dostarczaniu oprogramowania
• Solidne zrozumienie procesu SDLC
• Zrozumienie programowania obiektowego
• Zdolność do pracy z minimalnym nadzorem
• Znajomość AWS
• Umiejętność myślenia jak Inżynier Rozwiązań

Niezbędne umiejętności

• AWS Glue
• AWS Lake Formation
• AWS Step Functions
• Amazon Redshift
• Amazon S3

Preferowane umiejętności i doświadczenie

• Ciekawość podczas rozwiązywania problemów
• Podejście "dobry nie jest jeszcze dobry" dla naszych klientów
• Certyfikaty Snowflake lub Databricks i / lub praktyczne doświadczenie

Korzyści dla firmy

Pracownicy na pełen etat mają prawo do naszych programów świadczeń pracowniczych:

• Ubezpieczenia zdrowotne (medyczne, dentystyczne i na okulary),
• Ubezpieczenia na wypadek niezdolności do pracy krótkoterminowej, długoterminowej i ubezpieczenia na życie,
• 401k z dopłatami firmy,
• Płatny urlop (do 120 godzin przez rok),
• Płatny urlop na ważne święta (14 dni w roku),
• Pozostałe oferty podlegają uznaniu zarządu i mogą ulec zmianie w dowolnym momencie.

Zakres wynagrodzeń dla tej roli wynosi od $104,900 do $149,800.

ID CA: IT10000584B

"Podane zakresy wynagrodzeń mają charakter informacyjny i mogą się różnić w zależności od czynników takich jak doświadczenie, kwalifikacje i lokalizacja geograficzna. Ostateczna wynagrodzenia oferta będzie ustalana na podstawie umiejętności kandydata oraz zgodności z wymaganiami stanowiska."

Opis stanowiska może nie obejmować wszystkich przydzielonych obowiązków, odpowiedzialności lub aspektów pracy. Może być modyfikowany w dowolnym momencie według uznania Pracodawcy. Zadania i obowiązki mogą być dostosowane do rozsądnych potrzeb osób z niepełnosprawnościami. Aby skutecznie wykonywać tę pracę, osoby muszą posiadać umiejętności, zdolności i zdolności niezbędne do skutecznego wykonywania każdego zadania. Niniejszy dokument nie tworzy umowy o pracę, wyraźnej ani dorozumianej, innej niż "zgoda na zasady". Effectual Inc. jest pracodawcą równych szans (EEO) i nie dyskryminuje na podstawie każdej chronionej klasyfikacji w zakresie zatrudnienia, promocji, lub innych szans związanych z pracą.