Инженер по данным - Elastic

Кто мы

Kyndryl - это лидер рынка, который думает и действует как стартап. Мы проектируем, создаем, управляем и модернизируем критически важные технологические системы, от которых каждый день зависит весь мир. Почему работать с Kyndryl? Потому что мы всегда движемся вперед, всегда стараемся двигаться дальше в наших усилиях построить более справедливый, включительный мир для наших сотрудников, клиентов и наших сообществ.

Роль

• Описание работы:
  Инженер по данным ELK(Elastic, Logstash & Kibana) отвечает за разработку, внедрение и поддержку решений на основе стека ELK внутри организации. Этот инженер играет ключевую роль в разработке эффективного и эффективного обработки логов, индексирования и визуализации для мониторинга, устранения неполадок и анализа.
  Основные обязанности:
  1. Установка и настройка:
     - Развертывание Elasticsearch, Logstash и Kibana на виртуальных машинах, контейнеризованных средах (например, Docker).
     - Настройка и конфигурация кластеров Elasticsearch, обеспечение высокой доступности, отказоустойчивости и масштабируемости.
     - Настройка Logstash для получения, фильтрации и преобразования логов из различных источников (например, серверы, приложения, AppDynamics, Storage, базы данных и т.д.) перед отправкой их в Elasticsearch.
     - Настройка Kibana для визуализации данных, включая создание визуализаций, информационных панелей и оповещений.
     - Настройка политик ILM, шаблонов индексов и т.д.
  2. Получение и обработка данных:
     - Разработка конфигурационных файлов Logstash для разбора, обогащения и фильтрации данных лога из различных источников ввода (например, AppDynamics, база данных, хранение и т.д.).
     - Применение техник, таких как шаблоны grok, регулярные выражения и плагины, для обработки сложных форматов и структур логов.
     - Обеспечение эффективной и надежной загрузки данных путем оптимизации производительности Logstash, обработки больших объемов данных и управления пропускной способностью.
  3. Преобразование и обогащение данных:
  - Определение и внедрение процессов преобразования и обогащения данных для очистки, обогащения и подготовки данных для анализа и визуализации.
  - Использование конвейеров Logstash для манипулирования и преобразования данных.
  4. Визуализация данных и составление отчетов:
  - Использование Kibana для создания визуально привлекательных информационных панелей, отчетов и индивидуальных визуализаций.
  - Сотрудничество с бизнес-пользователями для понимания их потребностей в визуализации данных и преобразования их в действия.
  - Установление корреляций в данных и разработка визуализаций для определения первопричин проблем.
  - Интеграция с инструментами для работы с заявками, такими как Service Now.
  - Работа с функциональностью ML и Watcher.
  5. Мониторинг кластера:
     - Мониторинг кластеров Elasticsearch для контроля состояния, производительности и использования ресурсов.
   6. Безопасность и контроль доступа:
     - Внедрение мер безопасности для стека ELK, включая безопасную передачу, аутентификацию и авторизацию.
     - Настройка контроля доступа на основе ролей (RBAC) для управления правами доступа пользователей в Kibana и Elasticsearch.
  7. Документирование и взаимодействие:
     - Создание и поддержание технической документации, включая схемы систем, процедуры развертывания и руководства по устранению неполадок.
     - Сотрудничество с межфункциональными командами, такими как разработчики, системные администраторы и команды безопасности, для интеграции функциональности стека ELK в существующие системы и рабочие процессы.
     - Оставайтесь в курсе отраслевых тенденций и лучших практик, связанных с управлением логами, Elasticsearch, Logstash и Kibana.

Кто вы

• Кандидат должен иметь не менее 6+ лет опыта работы.
• Внедрять методы разработки данных.
• Проектировать базы данных.
• Применять техники моделирования данных к IT-решениям.
• Применять знания техник и инструментов добычи данных.
• Применять знания в области приложений, данных и AI.

Будучи собой

Разнообразие - это гораздо больше, чем наш внешний вид или то, откуда мы пришли. Это то, как мы думаем и кем мы являемся. Мы приветствуем людей всех культур, фонов и жизненных путей. Но мы не делаем это в одиночку: наши сети Kyndryl Inclusion - это всего лишь один из способов, с помощью которых мы создаем рабочее место, где все сотрудники Kyndryl могут найти поддержку и советы. Это стремление приветствовать каждого в нашей компании означает, что Kyndryl дает вам и каждому рядом с вами возможность быть собой на работе, индивидуально и коллективно, и поддерживать нашу культуру равенства. Это - путь Kyndryl.

Чего вы можете ожидать

При наличии современных ресурсов и клиентов из списка Fortune 100 каждый день - это возможность инноваций, создания новых возможностей, новых отношений, новых процессов и новых ценностей. Наш образовательный хаб для сотрудников дает вам доступ к лучшему обучению в индустрии для получения сертификатов и аккредитаций, включая Университет Microsoft, AWS Cloud Center of Excellence, Udemy и Harvard Business Review. Через нашу корпоративную платформу для волонтерства и благотворительности вы можете делать пожертвования, организовывать сборы средств, участвовать в волонтерской деятельности и искать организации из более чем 2 миллионов некоммерческих организаций.  В Kyndryl мы сильно инвестируем в вас! Мы хотим, чтобы вы преуспели, чтобы вместе мы все преуспели.