Architekt Danych

Podsumowanie stanowiska W Effectual inżynierowie danych są odpowiedzialni za projektowanie, budowanie i utrzymanie zestawów danych, które mogą być wykorzystywane w projektach związanych z danymi. W związku z tym ściśle współpracują zarówno z naukowcami zajmującymi się danymi, architektami danych, jak i specjalistami ds. zarządzania danymi. Inżynierowie danych projektują, wdrażają i utrzymują nowoczesne strumienie danych. W rezultacie szukamy starszego inżyniera Databricks, który jest zaangażowany w MLOPS jako swoją nadrzędną misję. Typowe projekty koncentrują się na obszarach takich jak: - Budowanie nowoczesnych strumieni danych - Pobieranie surowych źródeł danych i metody ETL - Inżynieria cech - Zmiana i testowanie modeli - Wdrożenie analityki Dlaczego warto dołączyć do Effectual? Effectual to nowoczesna, zarządzana firma świadcząca usługi profesjonalne w chmurze, która współpracuje z przedsiębiorstwami komercyjnymi i sektorem publicznym w celu zmniejszenia ryzyka i wspierania modernizacji IT. Nasz zespół składa się z doświadczonych i pełnych pasji rozwiązywaczy problemów, którzy stosują sprawdzone metody do wyzwań biznesowych na Amazon Web Services i VMware Cloud na AWS. Effectual została nazwana partnerem roku VMware Cloud na AWS Growth przez AWS na re:Invent 2021. Firma zdobyła tytuł dostawcy usług w chmurze roku na Channel Innovation Awards 2021. Effectual jest zweryfikowanym partnerem AWS MSP, posiadającym ponad 200 certyfikatów AWS. Zdobyliśmy kompetencje AWS Migration, AWS DevOps, AWS Mobile, AWS SaaS, oraz oznaczenie AWS Government i AWS Nonprofit Competency. Effectual jest członkiem programów AWS Well-Architected i AWS Public Sector Partner, a także programów AWS GovCloud (USA) i Authority to Operate on AWS. Ponadto Effectual jest głównym partnerem VMware w VMware Cloud na AWS. Pracownicy Effectual czerpią korzyści z przyjemnej, dynamicznej i otwartej kultury. Oferujemy ubezpieczenie medyczne, dentystyczne, na życie i zwierząt domowych, płatny urlop, 14 świąt oraz 401k z dopasowaniem od firmy. Rozważ dołączenie do naszego zespołu już dzisiaj! Podstawowe obowiązki i odpowiedzialność Podstawowe obowiązki i odpowiedzialność obejmują, ale nie ograniczają się do: - Konstruowanie, wdrażanie, testowanie i utrzymanie architektury danych i strumieni w ekosystemach Databricks (w tym Delta Lake i Unity Catalog) i AWS. - Analiza i organizacja surowych danych. - Budowanie infrastruktury wymaganej do optymalnego wydobycia, transformacji i ładowania danych z różnorodnych źródeł danych przy użyciu Databricks, technologii "big data" AWS i SQL. - Opracowywanie kodu i skryptów dla architektów danych, naukowców zajmujących się danymi i inżynierów ds. jakości danych. - Wykonanie akwizycji danych. - Opracowywanie procesów zestawów danych. - Wyszukiwanie sposobów na poprawę niezawodności, wydajności i jakości danych. - Przygotowanie danych do modelowania przepisowego i predykcyjnego. - Automatyzacja procesów zbierania i analizy danych, wydawania danych i narzędzi do raportowania. - Budowanie algorytmów i prototypów. - Opracowywanie narzędzi i programów analitycznych. - Współpraca z naukowcami zajmującymi się danymi i architektami. Podstawowe umiejętności i doświadczenie - Minimum 5 lat doświadczenia z Databricks, AWS, SQL, RDS, NoSQL, projektowaniem baz danych i językami programowania (Scala i/lub Python) jest wymagane. - Zaawansowana wiedza i biegłość techniczna w zakresie ETL, magazynowania danych w chmurze i Apache Spark. - Pogłębiona znajomość usług specyficznych dla AWS, w tym Lake Formation, Amazon Aurora, Amazon Data Pipeline, Amazon Athena, Glue, Amazon S3, Amazon DynamoDB, Amazon Relational Database Service (RDS), Amazon Elastic Map Reduce (EMR), Amazon Kinesis, Database Migration Services i Amazon Redshift. - Znajomość typowych narzędzi inżynierii danych, takich jak Apache Spark, Apache Airflow, Apache Lite, Apache Kafka, dbt i great_expectations. - Silne pragnienie wykorzystania ramy "Hierarchy of Analytics needs": Collect/Clean/Define & Track/Analyze/Optimize & Predict. - Silne umiejętności komunikacji werbalnej i pisemnej, z umiejętnością efektywnej współpracy z organizacjami wewnętrznymi i zewnętrznymi. - Wykazane zdolności do strategicznego myślenia o biznesie, produkcie i wyzwaniach technicznych. - Certyfikowany inżynier danych Databricks Associate lub Certyfikowany inżynier danych Databricks Professional (preferowany jest Professional).