Palantir Data Engineer | 9 to 15 years | Pan India

Job expired!

Присоединяйтесь к нашей команде: Инженер по данным Palantir | От 9 до 15 лет опыта | Capgemini по всей Индии

Описание работы

Мы ищем опытного инженера по данным Palantir, который обогатит нашу команду своим опытом в оптимизации процессов обработки данных и создании мощных архитектур данных. Ваша роль будет сосредоточена на интеграции внешних источников данных и устаревших систем в Foundry с помощью различных методов, таких как агенты/Magritte коннекторы и соединение данных. Более того, вы будете преобразовывать сырые файлы в ценные инсайты, способствующие росту бизнеса.

Основные обязанности:

  • Эффективная обработка данных с использованием скриптовых языков, таких как Python, PySpark и SQL.
  • Проектирование и поддержание оптимальной архитектуры данных в Foundry.
  • Создание, оптимизация и управление данными с использованием PySpark для серверных задач и TypeScript для клиентских задач.
  • Разработка аналитических инструментов для получения ценных инсайтов по ключевым показателям эффективности бизнеса с использованием инструментов Foundry, таких как Contour и Slate.
  • Работа над управлением графиками и мониторингом состояния данных в среде Palantir.
  • Следование за внутренними улучшениями процессов, автоматизация ручных процессов и перепроектирование инфраструктуры для обеспечения масштабируемости.

Основные навыки

Кандидаты должны обладать более чем 5-летним опытом работы на должности инженера по данным, дополненным следующими техническими навыками:

  • Знание платформ Hadoop, Spark и Kafka.
  • Профессионализм в работе с реляционными SQL и NoSQL базами данных, особенно Postgres и Cassandra/MongoDB.
  • Предыдущий опыт работы с системами обработки потоков данных, например, Storm и Spark-Streaming.
  • Глубокое понимание объектно-ориентированных и функциональных скриптовых языков, включая Python, Java, C++ и Scala.
  • Сильные навыки работы с SQL и опыт создания и оптимизации больших данных, особенно с PySpark/Python.

Второстепенные навыки

Идеальный кандидат также продемонстрирует следующие способности:

  • Сильные аналитические навыки и опыт работы с крупномасштабными наборами данных.
  • Опыт в области трансформации данных, проектировании структур, метаданных, управлении зависимостями и рабочей нагрузкой.
  • Способность эффективно сотру