Software Engineer- Data (Big data and Data Pipelines)- Delhi (preferred)/ Bangalore

Про Findem

Findem - єдина платформа даних про таланти, яка інтегрує тривимірні дані (3D) з ШІ, щоб революціонізувати вашу екосистему талантів. Автоматизуючи та консолідуючи пошук, CRM та аналітику, наша платформа надає безпрецедентні погляди на ринок праці та вашу конкуренцію. Підтримувана тривимірними даними, Findem забезпечує автоматизовані робочі процеси протягом усього життєвого циклу талантів, створюючи чудові талановиті досвіди та забезпечуючи безперервний потік найкращих, різноманітних кандидатів. Дізнайтеся більше за www.findem.ai.

Назва посади: Інженер з обробки великих даних

Місцезнаходження: Делі (бажано) / Бангалор. Кандидати мають бути з цих місць або готові переїхати.

Режим роботи: Гібридний - 3 дні в офісі

3 - 7 років

Роль та обов'язки

• Розробка та управління конвеєрами даних, рішеннями з обробки великих даних та інфраструктурою озера даних за допомогою різних технологій Big Data та ETL.
• Збирати та обробляти великі, складні набори даних для задоволення бізнес-вимог.
• Виконувати ETL з різних джерел, таких як MongoDB, S3, Kafka, і обробка за допомогою SQL та технологій Big Data.
• Розробка аналітичних інструментів для отримання дієвої інформації щодо залучення клієнтів, операційної ефективності та інших важливих показників.
• Створення інтерактивних та аналітичних інструментів самостійного обслуговування для аналітичних випадків використання.
• Розробка моделей даних та схем для продуктивності, масштабованості та вимог функціональності.
• Встановлення процесів для трансформації даних, метаданих, управління залежностями та робочими процесами.
• Дослідження, експериментування з новими інструментами/технологіями та їх успішне впровадження.

Обов'язкові навички

• Високий рівень володіння Python/Scala.
• Досвід роботи з технологіями великих даних, такими як Spark, Hadoop, Athena/Presto, Redshift, Kafka.
• Знання форматів файлів, таких як Parquet, JSON, Avro, ORC.
• Досвід роботи з інструментами управління робочим процесом, такими як Airflow.
• Знання пакетної обробки, потокової обробки та черг повідомлень.
• Досвід використання інструментів візуалізації, таких як Redash, Tableau, Kibana.
• Сильні навички вирішення проблем.

Бажані навички

• Досвід роботи з NoSQL базами даних, такими як MongoDB.
• Досвід роботи з хмарними платформами, такими як AWS, GCP.
• Знання архітектури мікросервісів.
• Досвід роботи з техніками машинного навчання.

Ця роль є повною зайнятістю та включає комплексні вигоди. Наша глобальна штаб-квартира розташована у