Инженер по работе с данными | Devoteam Марокко Ниршор

Описание компании

В Devoteam мы являемся "Цифровыми трансформаторами". Уважение, честность и страсть руководят нашим коллективом каждый день.

Вместе мы помогаем нашим клиентам победить в цифровой битве: от консультирования до внедрения инновационных технологий, а затем до адаптации их использования.

Облачные технологии, кибербезопасность, данные, DevOps, Fullstack разработка, Low Code, RPA - для нашего коллектива это уже давно не тайна!

Наши более 10 000 сотрудников проходят сертификацию, обучение и ежедневно поддерживаются в преодолении новых, инновационных вызовов.

Devoteam Group, занимая лидирующие позиции в области облачных технологий, кибербезопасности и данных в Европе, Среднем Востоке и Африке, показал оборот в 1.036 млрд евро в 2022 году и планирует удвоить его в течение следующих 5 лет.

Devoteam Morocco, ключевой игрок в сфере IT-экспертизы более 30 лет с более чем 350 консультантами, ускоряет свой рост, развивая ближайшие экспертные действия для удовлетворения потребностей наших французских, европейских и стран Ближнего Востока клиентов.

Вы готовы присоединиться к нам и взять на себя этот вызов вместе?

Описание работы

Data Ops Engineer @ Devoteam Data Driven.

В мире, где источники данных постоянно меняются, Devoteam Data Driven помогает своим клиентам преобразовывать их данные в оперативную информацию для увеличения бизнес-ценности.

Data Driven обращается к следующим 3 основным аспектам: стратегии данных, использованию данных в бизнесе и основе данных, поддерживая экспертизу своих клиентов, чтобы делать их каждый день более эффективными и конкурентоспособными.

В качестве части команд Nearshore Devoteam Morocco вы присоединитесь к коллективу Data Foundation - энтузиастам и специалистам в области данных, техническим архитекторам и менеджерам проектов, работающих над платформами и экосистемами данных: они проектируют, строят и модернизируют платформы и решения для данных, создают конвейеры данных с акцентом на гибкость и применение DevOps в области данных.

Более конкретно, это сообщество инженеров и экспертов Data Ops, компетентных в управлении операциями, автоматизации, надежности компонентов и платформ данных, которые сегодня еще более "родные облачные", а также их способности и умения сотрудничать с командами разработки и эксплуатации.

Вы будете играть важную роль в:

• Настройке и конфигурировании необходимой инфраструктуры для конвейеров данных: кластеры обработки данных (Apache Spark, Cloudera, Databricks, Snowflake, GCP BigQuery, Kafka, Nifi, Starburst ...), базы данных (Elasticsearch, Redis, MongoDB, BigTable, DynamoDB ...) и другие компоненты (Airflow, Jupyter, RStudio, dbt, Minio, ...)
• Проектировании, разработке и поддержке конвейеров непрерывной интеграции (CI) и непрерывного развертывания (CD) для автоматизации процесса развертывания компонентов инфраструктуры
• Описании и управлении инфраструктурой как кодом (IaC) с помощью таких инструментов, как Terraform, Ansible и других для обеспечения автоматизированного и воспроизводимого предоставления ресурсов
• Настройке систем мониторинга для отслеживания производительности конвейеров данных и настройке предупреждений для отчетности в случае сбоев или проблем с производительностью
• Анализе и улучшении производительности конвейеров данных путем идентификации узких мест, корректировки конфигураций и внедрения оптимизаций
• Имплементации систем мониторинга для отслеживания показателей производительности, обнаружения аномалий и активации оповещений в случае проблем с использованием таких инструментов, как Prometheus, Grafana и других
• Настройке систем управления журналами для сбора, хранения и анализа журналов приложений и инфраструктуры
• Сотрудничестве с командами по безопасности для внедрения лучших практик безопасности, включая управление секретами, методы доступа RBAC/ABAC и анонимизацию/шифрование данных, установку политик безопасности и конфиденциальности, включая GDPR, и, при необходимости, участие в любых возможных проверках безопасности
• Обеспечении доступности, производительности и надежности услуг за счет разработки и реализации устойчивых и надежных архитектур и нагрузочных тестов
• Мониторинге использования ресурсов и управлении планированием мощностей для обработки увеличения нагрузки при оптимизации использования существующих ресурсов
• Реализации механизмов автоматического масштабирования для динамической корректировки выделенных ресурсов в зависимости от рабочей нагрузки
• Поддержке инфраструктуры и развернутых компонентов данных, включая управление обновлениями, патчами безопасности и проактивное решение проблем
• Создании достоверной документации о конфигурациях, процедурах работы с конвейерами данных и лучших практиках развертывания для понимания и сотрудничества внутри команды
• Тесной работе с командами разработчиков для интеграции практик DevOps в жизненный цикл разработки программного обеспечения
• Выявлении, диагностировании и быстром устранении операционных проблем, включая практики предупредительного обслуживания для предотвращения неожиданных сбоев и обеспечения непрерывной доступности конвейеров
• Оценивании и внедрении стратегий оптимизации затрат, связанных с инфраструктурой и используемыми ресурсами
• Тесном сотрудничестве с командами разработчиков, аналитиками и специалистами по данным для понимания требований и обеспечения соответствия развернутых компонентов их потребностям
• Установке механизмов наследования и каталогов данных и развертывании решений для обеспечения качества данных, их отслеживаемости на различных этапах обработки в соответствии с правилами безопасности и конфиденциальности

Вы будете осваивать свои технические основы, полностью понимать деятельность [Инженера надежности сайтов], применяемую к данным, платформы и компоненты данных, и, что особенно важно, подтверждать свое стремление понять потребности и услуги, над которыми вы будете работать.

Ваша сфера деятельности: распределение, энергетика, финансы, промышленность, здравоохранение и транспорт с множеством примеров использования и новых задач по данным, которые нужно преодолеть вместе, в частности, данные в облаке.

Что мы ожидаем от вас.

• Что вы верите в данные и DevOps
• Что вы поможете своему коллеге
• Что вы будете добры к своим HR-специалистам
• Что вам будет нравиться ваша миссия
• И что Codingames вас не пугают (вы не будете одиноки: мы поможем вам)

И более серьезное:

• Что вы владеете платформами и компонентами данных, которые часто используются для обработки, анализа и представления данных
• Что вы также работаете над основными ожиданиями инженера SRE: автоматизация, мониторинг, надежность и межфункциональное сотрудничество для обеспечения оперативного успеха услуг
• Что вы хотите вложиться в новые парадигмы Data и DevOps SRE: облачные технологии, DaaS, SaaS, DataOps, AutoML и что вы совместно с нами принимаете участие в этом приключении
• Что вам нравится работать в режиме Agile
• Что вы последовательно и дисциплинированно выполняете запрошенные деятельности
• Что вы поддерживаете эту двойную компетенцию в области Infra & Dev
• Что вы близки к спонсорам и заинтересованным сторонам, помогаете им определить их новые потребности и услуги: на семинарах, определяя пользовательские истории и тестируя их через POC
• И автоматизация является одним из ваших драйверов и вы убежденный промоутер: вы работаете над своим кодом, вы делаете взносы в Open Source, вы участвуете в небольших соревнованиях, затем присоединяйтесь к нам

Что мы вам предложим.

• Менеджер будет рядом с вами в любое время
• Сообщество по данным, где вы найдете для себя место: Ideation Lab, Hackathon, Meetup ...
• Обучение и сертификация с помощью "myDevoteam Academy" на актуальные и будущие технологии: Databricks, Spark, Azure Data, Elastic.io, Kafka, Snowflake, GCP BigQuery, dbt, Ansible, Docker, k8s ...
• Усиление вашей экспертизы в области данных для становления техническим лидером облака (Azure, AWS, GCP ...), архитектором будущих платформ данных, экспертом DataOps, работающим на благо бизнеса (Data as a Service) и науки о данных (AutoML), менеджером Data Office, отвечающим за проекты по продуктам данных, короче говоря, много новых вакансий в перспективе...
• Возможность лично участвовать: быть внутренним тренером, лидером сообщества, участвовать в интервью с кандидатами, помогать развивать наши предложения и почему бы и не руководить своей собственной командой...

Некоторые примеры миссий.

• Проектирование, реализация и поддержка конвейеров данных
• Развертывание решений для данных в подходе Agile и DevOps
• Разработка REST API для предоставления доступа к данным
• Поддержка и экспертиза по технологиям данных и развернутым решениям: Hadoop, Spark, Kafka, Elasticsearch, Snowflake, BigQuery, Azure, AWS ...

Квалификации

Какие активы для вступления в команду?

• Бакалавр или эквивалент в области инженерии
• Не менее 3 лет опыта работы на данной должности
• Подтвержденный опыт работы в области инженерии SRE в области данных
• Глубокое понимание инструментов оркестровки, таких как Apache Oozie, Apache Airflow, Databricks Jobs
• Знакомство с технологиями обработки данных: Apache Spark, Hadoop, Kafka...
• Понимание лучших практик в области безопасности данных: аутентификация, авторизация, шифрование, анонимизация/замена данных
• Владение инструментами автоматизации Terraform, Ansible и другими
• Сертификация Terraform будет плюсом для подтверждения практического опыта
• Сертификации будут плюсом, особенно по платформам Azure, AWS, GCP и Databricks Cloud
• Подтвержденный опыт работы с управлением/использованием секретов: HashiCorp Vault, например
• Подтвержденный опыт работы с инструментами мониторинга, оповещения, отчетности по журналам, такими как Grafana, Prometheus, ELK, fluentd ... и особенно применяемых к конвейерам данных
• Способность выявлять и решать проблемы производительности в конвейерах данных
• Двойная компетенция в области инфраструктуры (Linux, Ansible, k8s) и разработки (Java, Scala, Python)
• Хорошее знание Rest API и микросервисов
• Опыт работы с Shell, Linux systems, Docker Compose, и Kubernetes будет плюсом
• Опыт работы с инструментами интеграции CI/CD (Jenkins, Gitlab) и работа в agile режиме
• Понимание и реализация целей уровня обслуживания SLO
• Отличные коммуникативные навыки, вам нравится работать в команде
• Высокий уровень обязательства и ответственности за свою деятельность
• Умение общаться и слушать в любых обстоятельствах и писать без ошибок...
• и вы свободно владеете английским языком, конечно!

Дополнительная информация

Дополнительная информация.

• Позиция находится в Марокко в наших офисах в Рабате и/или Касабланке и доступна только для постоянного контракта
• Гибкая позиция с возможностью удаленной работы
• Присоединяясь к Devoteam, вы получите возможность обмениваться идеями со своими коллегами, делиться их опытом и развивать свои навыки, присоединившись к сообществу Data Driven, которое объединяет консультантов из 18 стран Группы

Оставайтесь на связи:

• https://www.linkedin.com/company/devoteam
• https://twitter.com/devoteam
• https://www.facebook.com/devoteam