Архітектор даних

Резюме посади У компанії Effectual інженери з даних мають за завдання проектувати, створювати та обслуговувати набори даних, які можуть бути використані у проектах з даними. Вони тісно співпрацюють з дата-науковцями, архітекторами даних та професіоналами з управління даними. Інженери з даних проектують, реалізують та обслуговують сучасні потоки даних. В результаті ми шукаємо старшого інженера Databricks, який зосереджений на MLOPS як на своєму основному завданні. Зазвичай проекти сфокусовані на таких сферах, як: - Створення сучасних потоків даних - Прийом та методи ETL з первинного джерела даних - Інженерія характеристик - Зміна та тестування моделей - Розгортання аналітики Чому варто приєднатися до Effectual? Effectual - це сучасна компанія, що надає послуги управління та професійні послуги, орієнтовані на хмарні технології. Ми співпрацюємо з комерційними підприємствами та державним сектором для зменшення їхнього ризику та сприяння модернізації ІТ. Наша команда має великий досвід і складається з захоплених вирішенням проблем спеціалістів, які застосовують протестовані методології до бізнес-викликів на Amazon Web Services та VMware Cloud on AWS. Effectual була визнана партнером року від AWS за ріст на VMware Cloud на AWS на re:Invent 2021. Компанія отримала титул постачальника хмарних послуг року на церемонії нагород Channel Innovation Awards 2021. Effectual є перевіреним партнером AWS MSP, який тримає понад 200 сертифікатів AWS. Ми отримали компетенції AWS Migration, AWS DevOps, AWS Mobile, AWS SaaS, AWS Government та AWS Nonprofit. Effectual є членом програм AWS Well-Architected та AWS Public Sector Partner, а також програм AWS GovCloud (США) та Authority to Operate on AWS. Крім того, Effectual є основним партнером VMware на VMware Cloud on AWS. Співробітники в Effectual отримують вигоду від веселої, динамічної та включної культури. Ми надаємо медичне страхування, страхування зубів, страхування зору, страхування домашніх тварин та добровільне страхування життя, а також оплачуваний відпустка, 14 святкових днів і пенсійний план з поєднанням коштів компанії. Розгляньте можливість приєднання до нашої команди вже сьогодні! Основні обов'язки та відповідальність Основні обов'язки та відповідальність включають, але не обмежуються: - Створення, розгортання, тестування та обслуговування архітектур даних та каналів в екосистемах Databricks (включаючи Delta Lake та Unity Catalog) та AWS. - Аналіз та організація сировинних даних. - Створення інфраструктури, необхідної для оптимального видобутку, трансформації та завантаження даних з масиву джерел даних за допомогою Databricks, технологій "великих даних" AWS та SQL. - Розробка коду та скриптів для архітекторів даних, науковців з даними та інженерів з контролю якості даних. - Управління вилученням даних. - Розробка процесів з наборами даних. - Ідентифікація способів збільшення надійності, ефективності та якості даних. - Підготовка даних для провідних та прогностичних моделей. - Автоматизація процесів збору та аналізу даних, випуску даних та інструментів звітності. - Створення алгоритмів та прототипів. - Розробка аналітичних інструментів та програм. - Співпраця з науковцями і архітекторами даних. Основні навички та досвід - Мінімум 5 років досвіду роботи з Databricks, AWS, SQL, RDS, NoSQL, проектуванням баз даних та мовами програмування (Scala та/або Python) є обов'язковими. - Поглиблені знання та технічна компетенція в ETL, хмарному управлінні даними та Apache Spark. - Глибокі знання сервісів AWS, включаючи Lake Formation, Amazon Aurora, Amazon Data Pipeline, Amazon Athena, Glue, Amazon S3, Amazon DynamoDB, Amazon Relational Database Service (RDS), Amazon Elastic Map Reduce (EMR), Amazon Kinesis, Database Migration Services та Amazon Redshift. - Знайомство з загальноприйнятими інструментами інженерії даних, такими як Apache Spark, Apache Airflow, Apache Lite, Apache Kafka, dbt та great_expectations. - Сильне бажання використовувати рамки "Иерархии потреб аналитики": Собирать/Очищать/Определять & Отслеживать/Анализировать/Оптимизировать & Предсказывать. - Сильні усне та письмове спілкування, здатність ефективно працювати в межах організації та за її межами. - Демонстрація здатності стратегічно мислити в бізнесі, продуктах та технічних викликах. - Сертифікований інженер-розробник Databricks Associate або Databricks Certified Data Engineer Professional (професіонал віддається перевагу).