Starszy Inżynier Danych

CloudFactory poszukuje wysoce wykwalifikowanego i doświadczonego Starszego Inżyniera Danych do dołączenia do naszego dynamicznego zespołu. Jako światowy lider w łączeniu ludzi i technologii, aby zaoferować rozwiązanie w formie chmurowej siły roboczej, CloudFactory realizuje liczne projekty związane z uczeniem maszynowym i przetwarzaniem istotnych danych biznesowych. Jesteśmy zobowiązani do tworzenia możliwości ekonomicznych i liderowania dla utalentowanych osób w krajach rozwijających się. Jako Starszy Inżynier Danych w CloudFactory, odgrywasz kluczową rolę w rozwijaniu i utrzymaniu naszej infrastruktury danych, aby wspierać naszą rosnącą działalność. Będziesz miał szansę pracować z najnowocześniejszymi technologiami i współpracować z różnorodnym i entuzjastycznym zespołem w celu zwiększenia naszych możliwości przetwarzania danych. Jeśli jesteś entuzjastą wprowadzania różnicy na świecie poprzez znaczącą pracę, czerpiesz przyjemność z budowania relacji i doskonale czujesz się jako część zintegrowanego zespołu, CloudFactory jest dla Ciebie. Obowiązki: Udało mi się przekształcić wymagania użytkowników w realizowalne wnioski, wykorzystując istniejące narzędzia i technologie. Twoje obowiązki obejmą: - Regularne kontakty z PM/interesariuszami, aby zrozumieć ich potrzeby. - Badanie, aby zweryfikować, czy wymagania mogą być spełnione przy użyciu istniejących technologii i zasobów danych. - Wyodrębnianie danych przy użyciu Pythona i innych narzędzi, takich jak Fivetran. - Modelowanie danych przy użyciu SQL i koncepcji schematu Star i Snowflake. - Pomoc w wyborach dotyczących optymalizacji kosztów i wydajności w obrębie magazynu danych. - Komunikowanie uzasadnienia i logiki opinii, aby pomóc w podejmowaniu optymalnych decyzji. - Pisanie systemów gromadzenia danych o jakości i innych metadanych w ramach pipeline’ów danych, aby promować obserwowalność i odzyskiwalność pipeline’ów. - Pisanie testów jednostkowych i integracyjnych w celu zwiększenia niezawodności systemu. - Mentoring i doradztwo. Stack technologiczny: Nasz stack technologiczny obejmuje: - Narzędzia do wyodrębniania danych i orkiestracji - Fivetran, Prefect - Narzędzie do modelowania danych - DBT - Magazyn danych - Snowflake - Kontrole jakości danych - DBT, Elementary - Wizualizacja danych - Tableau i Quicksight - Katalog danych i pochodzenie - Atlan - Zarządzanie kodem źródłowym - Github - Infrastruktura jako kod - Terraform - Język programowania - Python - Usługi AWS (ECS, S3) Proces rekrutacji: Kandydaci zostaną poproszeni o wykonanie początkowego testu kodowania i myślenia analitycznego, a następnie o rozmowę kwalifikacyjną z Starszym Menadżerem Produktu, podczas której omówią dotychczasowe projekty, w tym podejścia i osiągnięte wyniki. Udane kandydatury następnie spotkają się z Dyrektorem Inżynierii, a na koniec przeprowadzą ostateczną rozmowę z CTO. Proces jest przewidywany na 1-2 tygodnie. Wymagania: Idealny kandydat powinien mieć: - Minimum 4 lata doświadczenia jako Inżynier Danych. - Biegłość w SQL w kontekście budowania i zarządzania korporacyjnym magazynem danych. - Biegłość w orkiestracji danych i pokrewnych narzędziach w kontekście transportu danych. - Znajomość systemów OLAP i pokrewnych przypadków użycia. - Biegłość w wyodrębnianiu danych z systemów źródłowych za pomocą Pythona. - Głębokie zrozumienie i biegłość w korzystaniu z architektur MPP. - Umiejętność modelowania danych przy użyciu Kimball, Inmon lub Data Vault. - Biegłość w pisaniu testów jednostkowych i integracyjnych. - Zrozumienie systemów mikrousługowych i systemów zdarzeniowych. - Doskonałe umiejętności komunikacyjne, umiejętność przekładania skomplikowanych danych na zrozumiałe wnioski i narracje.