DevOps Engineer - Generative AI Team

Компания Adyen предоставляет решения для оплаты, анализа данных и финансовых продуктов в одном продукте для ведущих клиентов, таких как Meta, Uber, H&M и Microsoft. Будучи ведущей платформой в области финансовых технологий, все, что мы делаем в Adyen, направлено на амбициозность и инновации.

Adyen ищет квалифицированного MLOps или DevOps инженера для присоединения к нашей команде Generative AI в Мадриде. Миссия этой команды — создать передовую платформу Generative AI, используя большие языковые модели (LLMs) для различных приложений. Фокус на разработке компонентов платформы для внутреннего использования и предоставлении комплексных решений, которые повышают операционную эффективность. Примеры использования, такие как маршрутизация заявок на поддержку и анализ настроений, демонстрируют адаптируемость технологий AI, революционизирующих рабочие процессы в нашей организации.

• Сотрудничество с командой для разработки и создания инфраструктуры для комплексного размещения LLMs, обеспечивающей масштабируемость, производительность и надежность.
• Разработка стратегии развертывания ML-моделей для решения задач, таких как маршрутизация тикетов, резюмирование, анализ настроений и извлечение ответов на вопросы.
• Автоматизация ML-конвейера с использованием инструментов и практик MLOps, оптимизация для масштабируемости и производительности.
• Контейнеризация приложений и управление развертыванием Kubernetes вместе с необходимой инфраструктурой, от GPU до векторных баз данных и компонентов вывода.
• Разработка лучших практик для наблюдаемости внутри инфраструктуры LLM, создание фреймворков для мониторинга поведения LLM в реальных условиях.
• Дизайн и реализация API, сервисов или фреймворков для бесшовной интеграции и использования LLM в различных приложениях и сервисах.
• Следить за последними достижениями в инструментах и практиках MLOps.

• 5+ лет профессионального опыта в качестве DevOps инженера, MLOps инженера, ML-инженера или инженера данных.
• Сильные навыки разработки ПО, включая контроль версий (например, Git, предпочтительно на GitLab), лучшие практики программирования, отладка, юнит и интеграционное тестирование.
• Владение Python, Airflow, MLflow, Docker, Kubernetes и ArgoCD.
• Владение инструментами наблюдаемости, такими как Prometheus, Logsearch, Kibana и Grafana.
• Знание конвейеров данных и процессов ETL для обучения и вывода ML, а также фреймворков для разработки и развертывания моделей.
• Твердое понимание лучших практик DevOps, концепций CI/CD и опыт внедрения этих практик.
• Умение диагностировать и решать проблемы с производительностью моделей, масштабируемостью и развертыванием.
• Знание инструментов мониторинга для отслеживания производительности модели, использования ресурсов и состояния системы, включая логирование и мониторинг ошибок для ML-моделей и приложений.

• Знание ETL-конвейеров с использованием PySpark и Airflow для предварительной обработки данных и обучения моделей.
• Четкое понимание полного цикла разработки машинного обучения.
• Опыт работы с Helm для упаковки и развертывания приложений на Kubernetes, а также с Kustomize для управления конфигурациями Kubernetes.
• Знакомство с инструментами управления инфраструктурой как код, такими как Terraform.
• Опыт работы с открытыми фреймворками для машинного обучения, такими как Huggingface Transformers.
• Общий опыт в LLMOps, включая развертывание моделей, мониторинг, управление ресурсами и инфраструктурой, включая знание GPU.

В Adyen мы считаем, что разнообразные перспективы способствуют инновациям и динамике. Наша уникальная подход является продуктом нашего различного происхождения и культур. Мы приглашаем вас принести ваш уникальный голос в нашу команду и помочь