Senior Data Engineer/ Lead Data Engineer

Upstox jest jedną z czołowych firm Fin-Tech w Indiach, która z pasją dąży do udostępnienia handlu i inwestowania dla każdego. Nasza intuicyjna platforma handlowa i inwestycyjna w połączeniu z bezprowizyjnymi stawkami, umożliwia zarówno nowym inwestorom, jak i doświadczonym traderom inwestowanie w różne kategorie aktywów, w tym akcje, debiuty giełdowe (IPO) i fundusze inwestycyjne.

Dzięki podejściu skoncentrowanemu na klientach i potężnym narzędziom, zanotowaliśmy wzrost liczby naszych klientów o 800%, powiększając ich bazę z 25,000 w 2017 roku do 200,000 w 2019 roku. Nasze zaangażowanie w prostotę, przystępność cenową i dostępność przyciągnęło do 2020 roku ponad 10 milionów klientów, którzy zaufali nam ze swoimi inwestycjami, co wytycza naszą drogę do bycia liderem w branży.

Założona w 2009 roku przez Ravi Kumar i Shrinivasa Viswanatha, do których w 2016 roku dołączyła Kavitha Subramanian, Upstox jest wspierana przez branżowego giganta Ratana Tata. Dzięki pozyskaniu ponad 29 milionów dolarów w rundach finansowania Serii A i B od Kalaari Capital i Tiger Global Management odpowiednio, nasza trajektoria wzrostu była wykładnicza.

Posiadamy zespół wysoce wykwalifikowanych profesjonalistów technologicznych i finansowych oraz szukamy zmotywowanych ekspertów, którzy dołączą do naszego dynamicznego zespołu.

Zespół Inżynierii Danych w Upstox zajmuje się projektowaniem, rozwijaniem i utrzymaniem zjednoczonego Lake House (Data Lake + Data Warehouse). Służy on jako jednoźródłowa prawda organizacji, jednocześnie zarządzając zasobami danych, generując wglądy biznesowe i klienta oraz bezpiecznie udostępniając dane systemom, usługom i użytkownikom.

Kluczowe obowiązki

• Tworzenie i utrzymanie skalowalnych potoków ETL Big-Data zasilających platformę danych Upstox (UDP).
• Rozwój modułowych i skalowalnych procesorów Big-Data w celu uzyskania wglądów biznesowych i klienta, poprawy efektywności operacyjnej oraz mierzenia kluczowych wskaźników biznesowych.
• Budowanie skalowalnych łączników do bezpiecznego udostępniania danych w celu konsumpcji przez systemy i usługi w czasie rzeczywistym.
• Współpraca z zespołami DevOps i Infrastruktury w celu budowy optymalnej infrastruktury do ekstrakcji, transformacji i ładowania danych.
• Praca z zespołem DevOps w celu monitorowania i utrzymania komponentów platformy danych, zapewniając spełnienie wewnętrznych SLA dotyczących dostępności.
• Współpraca z zespołami DBA i BI w celu ustanowienia procesów kontroli jakości danych.

Kwalifikacje

• Doświadczenie praktyczne z Python / Scala, Spark lub podobnymi frameworkami, Airflow, Apache HUDI/Delta/Iceberg (OpenTableFormat), AWS Athena, potokami ETL Big-Data, Hadoop, zaawansowanym SQL i optymalizacją zapytań SQL.
• Znajomość frameworków strumieniowych (Spark Streaming / Apache Flink), narzędzi do zarządzania przepływami pracy (Apache Airflow / NiFi), DBT (data build tool), modelowania danych wymiarowych i rozwiązań natywnych w chmurze (preferowane na AWS) jest dodatkowym atutem.
• Zrozumienie usług AWS takich jak Redshift, DynamoDB, Lambda, Glue, Athena, Lake Formation, IAM, SQS i SNS oraz doświadczenie w tworzeniu szabl