Senior Data Engineer/ Lead Data Engineer

Upstox est l'une des principales entreprises Fin-Tech en Inde, passionnée par le fait de rendre le trading et l'investissement accessibles à tous. Notre plateforme intuitive de trade et d'investissement, combinée à des tarifs sans commission, permet tant aux nouveaux investisseurs qu'aux traders chevronnés d'investir dans divers types d'actifs, y compris les actions, les IPOs et les fonds communs de placement.

Avec une approche centrée sur le client et des outils puissants, nous avons connu une croissance de 800% de notre base de clients, passant de 25,000 en 2017 à 200,000 en 2019. Notre engagement envers la simplicité, l'accessibilité et l'abordabilité a conduit plus de 10 millions de clients à nous faire confiance avec leurs investissements en 2020, annonçant notre chemin vers devenir un leader de l'industrie.

Fondé en 2009 par Ravi Kumar et Shrinivas Viswanath, rejoints par Kavitha Subramanian en 2016, Upstox est soutenu par le pilier de l'industrie Ratan Tata. Avec plus de 29 millions de dollars levés lors des tours de financement de série A et B respectivement par Kalaari Capital et Tiger Global Management, notre trajectoire de croissance a été exponentielle.

Nous comptons une équipe de professionnels hautement qualifiés en technologie et en finance et recherchons des experts motivés pour rejoindre notre équipe dynamique.

Le Data Engineering team chez Upstox est chargé de concevoir, de développer et de maintenir une infrastructure de Lake House (Data Lake + Data Warehouse) unifiée. Celle-ci sert de source unique de vérité pour l'organisation, tout en gouvernant les actifs de données, en générant des insights business et clients, et en exposant ces données de manière sécurisée aux systèmes, services et utilisateurs en aval.

Responsabilités Clés

• Créer et maintenir des pipelines ETL Big-Data évolutifs alimentant la plateforme de données Upstox (UDP).
• Développer des processeurs Big-Data modulaires et évolutifs pour dériver des insights business et clients, améliorer l'efficacité opérationnelle et mesurer les principaux indicateurs business.
• Construire des connecteurs évolutifs pour exposer de manière sécurisée les données à la consommation par les systèmes et services en aval en quasi temps réel.
• Collaborer avec les équipes DevOps et Infrastructure pour construire une infrastructure optimale d'extraction, de transformation et de chargement de données.
• Travailler avec l'équipe DevOps pour monitorer et maintenir les composants de la plateforme de données, en assurant le maintien des SLA internes d'uptime.
• Collaborer avec les équipes DBA et BI pour établir des processus de contrôle de la qualité des données.

Qualifications

• Expérience pratique avec Python / Scala, Spark ou des frameworks similaires, Airflow, Apache HUDI/Delta/Iceberg (OpenTableFormat), AWS Athena, pipelines ETL Big-Data, Hadoop, SQL avancée et optimisation des requêtes SQL.
• Exposition aux frameworks de streaming (Spark Streaming / Apache Flink), aux outils de gestion des workflows (Apache Airflow / NiFi), au DBT (data build tool), à la modélisation des données dimensionnelles et aux solutions cloud-native (de préférence sur AWS) est un plus.
• Compréhension des services AWS tels que Redshift, DynamoDB, Lambda, Glue, Athena, Lake Formation, IAM, SQS & SNS, ainsi qu'une expérience de création de templates CloudFormation / Terraform et des connaissances en DevOps et SRE est un atout.
• Au moins 7 ans d'expérience dans un rôle de Data Engineering traitant de grands volumes de données.
• Licence ou Master en informatique ou équivalent.
• Résilience, détermination, compétences méticuleuses en résolution de problèmes et souci du détail.
• Fort désir de travailler dans un environnement dynamique et rapide.
• Expertise technique pour fournir des solutions de niveau entreprise de manière indépendante.
• Compétences exceptionnelles en communication et capacité à collaborer avec plusieurs parties prenantes de manière efficace.

Location: Bengaluru

Nom de l'entreprise: Upstox

Titre du poste: Senior