Senior Data Engineer/ Lead Data Engineer

История Upstox

Upstox – одна из ведущих финтех-компаний Индии, стремящаяся сделать торговлю и инвестиции доступными для всех. Наша интуитивно понятная платформа для торговли и инвестиций, сочетающаяся с безкомиссионным ценообразованием, дает возможность как новым инвесторам, так и опытным трейдерам инвестировать в различные категорий активов, включая акции, IPO и паевые инвестиционные фонды.

С клиенториентированным подходом и мощными инструментами мы достигли 800% роста нашей клиентской базы, увеличив её с 25,000 в 2017 году до 200,000 в 2019 году. Наша приверженность простоте, доступности и прозрачности привела к тому, что более 10 миллионов клиентов доверили нам свои инвестиции к 2020 году, что знаменует наш путь к лидерству в отрасли.

Основана в 2009 году Рави Кумаром и Шринивасом Висванатом, а в 2016 году к команде присоединилась Кавита Субраманиан. Upstox поддерживается известным предпринимателем Ратаном Тата и привлекла более $29 миллионов финансирования на этапах Series A и B от Kalaari Capital и Tiger Global Management соответственно. Наш траектория роста была экспоненциальной.

Мы гордимся нашей командой высококвалифицированных специалистов в области технологий и финансов и ищем мотивированных экспертов, чтобы присоединиться к нашей динамичной команде.

Вакансия: Старший инженер по обработке данных / Ведущий инженер по обработке данных

С кем вы будете работать

Команда Data Engineering в Upstox отвечает за проектирование, разработку и поддержку единого Lake House (Data Lake + Data Warehouse), который служит единственным источником достоверности организации, а также управляет данными, генерирует бизнес- и клиентские инсайты и безопасно предоставляет данные подсистемам, сервисам и пользователям.

Основные обязанности

• Создание и поддержка масштабируемых ETL-пайплайнов для больших данных, которые снабжают данными платформу Upstox (UDP).
• Разработка модульных и масштабируемых процессоров для больших данных с целью получения бизнес- и клиентских инсайтов, повышения операционной эффективности и измерения ключевых бизнес-метрик.
• Создание масштабируемых коннекторов для безопасного предоставления данных для потребления нижестоящими системами и сервисами в почти реальном времени.
• Сотрудничество с командами DevOps и инфраструктурных служб для создания оптимальной инфраструктуры извлечения, преобразования и загрузки данных.
• Работа с командой DevOps для мониторинга и поддержания компонентов платформы данных, обеспечивая соблюдение внутренних SLA по времени безотказной работы.
• Сотрудничество с командами DBA и BI для установления процессов контроля качества данных.

Квалификации

• Практический опыт работы с Python / Scala, Spark или аналогичными фреймворками, Airflow, Apache HUDI/Delta/Iceberg (OpenTableFormat), AWS Athena, ETL-пайплайнами для больших данных, Hadoop, углубленным SQL и настройкой SQL-запросов.
• Опыт работы с потоковыми фреймворками (Spark Streaming / Apache Flink), инструментами управления рабочими процессами (Apache Airflow / NiFi), DBT (data build tool), многомерным моделированием данных и облачными решениями (предпочтительно на AWS) является плюсом.
• Понимание сервисов AWS, таких как Redshift, DynamoDB, Lambda, Glue, Athena, Lake Formation, IAM, SQS & SNS, а также опыт создания шаблонов CloudFormation / Terraform и знания в области DevOps и SRE даст вам дополнительные преимущества.
• Минимум 7 лет опыта работы в должности инженера по обработке данных с большими объёмами данных.
• Бакалаврская или магистерская степень в области компьютерных наук или эквивалентная.