Присоединяйтесь к нашей команде: Инженер по данным Palantir | От 9 до 15 лет опыта | Capgemini по всей Индии
Описание работы
Мы ищем опытного инженера по данным Palantir, который обогатит нашу команду своим опытом в оптимизации процессов обработки данных и создании мощных архитектур данных. Ваша роль будет сосредоточена на интеграции внешних источников данных и устаревших систем в Foundry с помощью различных методов, таких как агенты/Magritte коннекторы и соединение данных. Более того, вы будете преобразовывать сырые файлы в ценные инсайты, способствующие росту бизнеса.
Основные обязанности:
- Эффективная обработка данных с использованием скриптовых языков, таких как Python, PySpark и SQL.
- Проектирование и поддержание оптимальной архитектуры данных в Foundry.
- Создание, оптимизация и управление данными с использованием PySpark для серверных задач и TypeScript для клиентских задач.
- Разработка аналитических инструментов для получения ценных инсайтов по ключевым показателям эффективности бизнеса с использованием инструментов Foundry, таких как Contour и Slate.
- Работа над управлением графиками и мониторингом состояния данных в среде Palantir.
- Следование за внутренними улучшениями процессов, автоматизация ручных процессов и перепроектирование инфраструктуры для обеспечения масштабируемости.
Основные навыки
Кандидаты должны обладать более чем 5-летним опытом работы на должности инженера по данным, дополненным следующими техническими навыками:
- Знание платформ Hadoop, Spark и Kafka.
- Профессионализм в работе с реляционными SQL и NoSQL базами данных, особенно Postgres и Cassandra/MongoDB.
- Предыдущий опыт работы с системами обработки потоков данных, например, Storm и Spark-Streaming.
- Глубокое понимание объектно-ориентированных и функциональных скриптовых языков, включая Python, Java, C++ и Scala.
- Сильные навыки работы с SQL и опыт создания и оптимизации больших данных, особенно с PySpark/Python.
Второстепенные навыки
Идеальный кандидат также продемонстрирует следующие способности:
- Сильные аналитические навыки и опыт работы с крупномасштабными наборами данных.
- Опыт в области трансформации данных, проектировании структур, метаданных, управлении зависимостями и рабочей нагрузкой.
- Способность эффективно сотру