Software Engineer- Data (Big data and Data Pipelines)- Delhi (preferred)/ Bangalore

О Findem

Findem — это единственная платформа данных о талантах, которая интегрирует 3D данные с ИИ, чтобы революционизировать вашу экосистему талантов. Автоматизируя и объединяя поиск, CRM и аналитику, наша платформа предоставляет беспрецедентные инсайты о рынке труда и вашей конкуренции. Поддерживаемая 3D данными, Findem обеспечивает автоматизированные рабочие процессы на протяжении всего жизненного цикла талантов, создавая превосходный опыт для талантов и непрерывно пополняя кадровые резервы лучшими, разнообразными кандидатами. Узнайте больше на www.findem.ai.

Название должности: Инженер по большим данным

Местоположение: Дели (предпочтительно) / Бангалор. Кандидаты должны проживать или быть готовыми к переезду в эти города.

Режим работы: Гибридный - 3 дня в офисе

3 - 7 лет

Роль и обязанности

• Разработка и управление конвейерами данных, решениями для обработки больших данных и инфраструктуры озера данных с использованием различных технологий Big Data и ETL.
• Сборка и обработка больших, сложных наборов данных для удовлетворения бизнес-требований.
• Выполнение ETL из различных источников, таких как MongoDB, S3, Kafka, и обработка с использованием SQL и технологий Big Data.
• Разработка аналитических инструментов для получения полезных инсайтов в области привлечения клиентов, операционной эффективности и других важных метрик.
• Создание интерактивных и инструментов самообслуживания для ад-хок запросов в аналитических сценариях использования.
• Создание моделей данных и схем для обеспечения производительности, масштабируемости и функциональных требований.
• Установление процессов для преобразования данных, управления метаданными, зависимостями и рабочими процессами.
• Исследование, экспериментирование с новыми инструментами/технологиями и создание прототипов для успешного внедрения.

Необходимые навыки

• Хорошее владение Python/Scala.
• Опыт работы с технологиями Big Data, такими как Spark, Hadoop, Athena/Presto, Redshift, Kafka.
• Знание форматов файлов, таких как Parquet, JSON, Avro, ORC.
• Опыт работы с инструментами управления рабочими процессами, такими как Airflow.
• Знакомство с пакетной обработкой, потоковой обработкой и очередями сообщений.
• Опыт работы с инструментами визуализации, такими как Redash, Tableau, Kibana.
• Сильные навыки решения проблем.

Желательные навыки

• Опыт работы с NoSQL базами данных, такими как MongoDB.
• Опыт работы с облачными платформами, такими как AWS, GCP.
• Знание архитектуры микросервисов.
• Опыт работы с методами машинного обучения.

Эта роль является полной занятостью и включает комплексные льготы. Наш глобальный штаб-квартира находится в области залива Сан-Франциско, а штаб-квартира в Индии — в Бангалоре.

Работодатель с равными возможностями

Как приверженный работодатель с равными возможностями, Findem не дискриминирует на основании расы, цвета кожи, религии, национального происхождения, возраста, пола (включая беременность), физических или умственных недостатков, медицинского состояния, генетической информации, гендерной идентичности или выражения, сексуальной ориентации, семейного положения, статуса защитного ветерана или любого другого юридически защищенного признака.

<