Senior Data Engineer/ Lead Data Engineer

Upstox - одна з провідних компаній Fin-Tech в Індії, захоплена тим, щоб зробити торгівлю та інвестування доступними для всіх. Наша інтуїтивно зрозуміла платформа для торгівлі та інвестування в поєднанні з безкомісійною ціновою політикою надає можливість як новим інвесторам, так і досвідченим трейдерам інвестувати в різні категорії активів, включаючи акції, IPO та взаємні фонди.

Завдяки клієнтоорієнтованому підходу та потужним інструментам, ми досягли зростання клієнтської бази на 800%, розширившись з 25,000 у 2017 році до 200,000 у 2019 році. Наша відданість простоті, доступності та affordability дозволила більше 10 мільйонів клієнтів довірити нам свої інвестиції станом на 2020 рік, що прокладає шлях до лідерства в галузі.

Компанія була заснована у 2009 році Раві Кумаром та Шрінівасом Вішванатом, до яких приєдналася Кавіта Субраманіан у 2016 році. Upstox підтримується індустріальним ветераном Ратаном Тата. Завдяки більше $29 мільйонам, зібраним у раундах фінансування серій A та B від Kalaari Capital та Tiger Global Management відповідно, наш розвиток був експоненційним.

Ми маємо у своєму складі висококваліфікованих технологічних та фінансових професіоналів і шукаємо мотивованих експертів для приєднання до нашої динамічної команди.

З ким ви будете працювати

Команда Data Engineering в Upstox займається проектуванням, розробкою та підтримкою уніфікованої Lake House (Data Lake + Data Warehouse). Це слугує єдиним джерелом правди для організації, а також керує даними, генерує бізнес-інсайти та інсайти клієнтів, і надає безпечний доступ до даних для нижчестоячих систем, сервісів та користувачів.

Основні обов’язки

• Створювати та підтримувати масштабовані Big-Data ETL конвеєри, що надходять дані на платформу Upstox Data Platform (UDP).
• Розробляти модульні та масштабовані Big-Data процесори для отримання бізнес-інсайтів і інсайтів клієнтів, підвищення операційної ефективності та вимірювання основних бізнес-метрик.
• Створювати масштабовані коннектори для безпечного доступу до даних споживачами від нижчестоячих систем і сервісів у режимі близькому до реального часу.
• Співпрацювати з DevOps та Infrastructure командами для створення інфраструктури оптимального вилучення, трансформації та завантаження даних.
• Робота з DevOps командою щодо моніторингу та підтримки компонентів платформи даних, забезпечуючи відповідність внутрішнім SLA на час роботи.
• Співпрацювати з DBA та BI командами для створення процесів контролю якості даних.

Кваліфікації

• Практичний досвід роботи з Python / Scala, Spark або подібними фреймворками, Airflow, Apache HUDI/Delta/Iceberg (OpenTableFormat), AWS Athena, Big-Data ETL конвеєрами, Hadoop, складним SQL, та оптимізацією SQL запитів.
• Знання стрімінгових фреймворків (Spark Streaming / Apache Flink), інструментів управління робочими процесами (Apache Airflow / NiFi), DBT (data build tool), дименсіонального