Архитектор данных

Резюме по должности В компании Effectual инженеры данных ответственны за проектирование, создание и поддержание наборов данных, которые могут быть использованы в проектах по обработке данных. Поэтому они тесно сотрудничают с учеными в области данных, архитекторами данных и профессионалами в области управления данными. Инженеры данных проектируют, реализуют и поддерживают современные пайплайны данных. В связи с этим мы ищем старшего инженера по работе с Databricks, который предан MLOPS как своей главной миссии. Типичные проекты сосредоточены на областях, таких как: - Строительство современных пайплайнов данных - Получение необработанных источников данных и методы ETL - Достопримечательности инжиниринга - Изменение и тестирование моделей - Развертывание аналитики Почему стоит присоединиться к Effectual? Effectual - это современная компания, предлагающая управляемые и профессиональные услуги, совместимые с коммерческими предприятиями и сектором общественных услуг для снижения их рисков и продвижения IT-модернизации. Наша команда - это высококвалифицированные специалисты, обладающие проверенными методологиями для решения бизнес-задач на платформах Amazon Web Services и VMware Cloud на AWS. Effectual была названа партнером года по росту VMware Cloud на AWS на конференции AWS на re:Invent 2021. Effectual является подтвержденным партнером AWS MSP, имеет более 200 сертификаций AWS. Мы завоевали компетенции AWS Migration, AWS DevOps, AWS Mobile, AWS SaaS, а также звания AWS Government и AWS Nonprofit. Effectual также является членом программ AWS Well-Architected и AWS Public Sector Partner, а также программ AWS GovCloud (США) и Authority to Operate на AWS. Основные обязанности и ответственность К основным обязанностям и ответственности относятся, но не ограничиваются: - Создание, развертывание, тестирование и поддержание архитектур данных и пайплайнов в рамках экосистем Databricks (включая Delta Lake и Unity Catalog) и AWS. - Анализ и организация исходных данных. - Построение инфраструктуры, необходимой для оптимального извлечения, трансформации и загрузки данных из широкого спектра источников данных с использованием технологий Databricks, "больших данных" AWS и SQL. - Разработка кода и скриптов для архитекторов данных, ученых в области данных и инженеров по качеству данных. - Приобретение данных. Необходимые навыки и опыт - Минимум 5 лет опыта работы с Databricks, AWS, SQL, RDS, NoSQL, проектированием баз данных и языками программирования (Scala и/или Python) обязательны. - Углубленное знание и техническое мастерство в области ETL, облачного хранилища данных и Apache Spark. - Глубокое понимание специфических для AWS услуг, включая Lake Formation, Amazon Aurora, Amazon Data Pipeline, Amazon Athena, Glue, Amazon S3, Amazon DynamoDB, Amazon Relational Database Service (RDS), Amazon Elastic Map Reduce (EMR), Amazon Kinesis, Службы миграции баз данных и Amazon Redshift. - Знакомство с общепринятыми инструментами для инжиниринга данных, такими как Apache Spark, Apache Airflow, Apache Lite, Apache Kafka, dbt и great_expectations. - Очень хочется использовать принципы "Иерархии потребностей в аналитике": сбор/очистка/определение и отслеживание/анализ/оптимизация и предсказание. - Большой опыт работы со сложными бизнес-задачами и техническими проблемами. - Наличие сертификата Databricks Certified Data Engineer Associate или Databricks Certified Data Engineer Professional (предпочтителен профессионал).