Palantir Data Engineer | 9 to 15 years | Pan India

Приєднуйтеся до нашої команди: Інженер з даних Palantir | 9 до 15 років досвіду | Capgemini по всій Індії

Опис вакансії

Ми шукаємо досвідченого інженера з даних Palantir, щоб збагатити нашу команду своїм досвідом у оптимізації процесів з даними та створенні потужних архітектур даних-пайплайнів. Ваша роль зосереджуватиметься на інтеграції зовнішніх джерел даних та успадкованих систем в Foundry за допомогою різних методів, таких як з'єднувачі Agents/Magritte та Data Connection. Більше того, вам належить перетворювати необроблені файли на цінні відомості, які сприяють зростанню бізнесу.

Основні обов'язки:

• Ефективна обробка даних за допомогою скриптових мов, таких як Python, PySpark і SQL.
• Проектування та підтримка оптимальної архітектури даних-пайплайну в Foundry.
• Створення, оптимізація та управління даними-пайплайнами за допомогою PySpark для бекенду та TypeScript для фронтенду завдань.
• Розробка інструментів аналітики для отримання практичних висновків про ключові показники ефективності бізнесу, використовуючи інструменти Foundry, такі як Contour та Slate.
• Робота з управлінням графіка і моніторингом здоров'я даних-пайплайну в середовищі Palantir.
• Слідкування за внутрішніми процесами поліпшень шляхом автоматизації ручних процесів і перепроектування інфраструктури для масштабування.

Основні навички

Кандидати повинні мати понад 5 років суттєвого досвіду в ролі інженера з даних, доповнені наступними технічними навичками:

• Знання платформ Hadoop, Spark і Kafka.
• Володіння реляційними SQL та NoSQL базами даних, особливо Postgres і Cassandra/MongoDB.
• Попередній досвід роботи з системами обробки потоків даних, такими як Storm і Spark-Streaming.
• Глибоке розуміння об'єктно-орієн