Senior Data Engineer/ Lead Data Engineer

La Historia de Upstox

Upstox es una de las compañías Fin-Tech más importantes de la India, apasionada por hacer que el comercio y la inversión sean accesibles para todos. Nuestra intuitiva plataforma de comercio e inversión, combinada con precios sin comisiones, empodera tanto a nuevos inversores como a comerciantes experimentados para invertir en una variedad de categorías de activos, incluyendo Acciones, OPI y Fondos Mutuos.

Con un enfoque centrado en el cliente y herramientas potentes, experimentamos un crecimiento del 800% en nuestra base de clientes, pasando de 25,000 en 2017 a 200,000 en 2019. Nuestro compromiso con la simplicidad, la asequibilidad y la accesibilidad ha llevado a más de 10 millones de clientes a confiar en nosotros para sus inversiones a partir de 2020, marcando nuestro camino para convertirnos en un líder de la industria.

Fundada en 2009 por Ravi Kumar y Shrinivas Viswanath, y con la incorporación de Kavitha Subramanian en 2016, Upstox cuenta con el respaldo del destacado empresario Ratan Tata. Con más de $29 millones recaudados en rondas de financiación Serie A y B de Kalaari Capital y Tiger Global Management respectivamente, nuestra trayectoria de crecimiento ha sido exponencial.

Presumimos de un equipo de profesionales altamente capacitados en tecnología y finanzas y estamos buscando expertos motivados para unirse a nuestro dinámico equipo.

Apertura de Trabajo: Ingeniero Sénior de Datos / Líder de Ingeniería de Datos

Con Quién Trabajarás

El equipo de Ingeniería de Datos en Upstox tiene la tarea de diseñar, desarrollar y mantener un Lake House unificado (Lago de Datos + Almacén de Datos). Esto sirve como la fuente única de verdad de la organización, al tiempo que gestiona los activos de datos, genera conocimientos empresariales y del cliente, y expone de manera segura los datos a sistemas, servicios y usuarios aguas abajo.

Responsabilidades Clave

• Crear y mantener pipelines de ETL de Big Data escalables que alimenten datos a la Plataforma de Datos de Upstox (UDP).
• Desarrollar procesadores de Big Data modulares y escalables para obtener conocimientos empresariales y del cliente, mejorar la eficiencia operativa y medir métricas empresariales clave.
• Construir conectores escalables para exponer datos de manera segura para que sean consumidos por sistemas y servicios aguas abajo en tiempo casi real.
• Colaborar con los equipos de DevOps e Infraestructura para construir una infraestructura óptima de extracción, transformación y carga de datos.
• Trabajar con el equipo de DevOps para monitorear y mantener los componentes de la plataforma de datos, asegurando que se cumplan los SLAs internos.
• Colaborar con los equipos de DBA y BI para establecer procesos de control de calidad de datos.

Calificaciones

• Experiencia práctica con Python / Scala, Spark o marcos similares, Airflow, Apache HUDI/Delta/Iceberg (OpenTableFormat), AWS Athena, pipelines de ETL de Big Data, Hadoop, SQL avanzado y optimización de consultas SQL.
• La exposición a marcos de streaming (Spark Streaming / Apache Flink), herramientas de gestión de flujos de trabajo (Apache Airflow / NiFi), DBT (data build tool), modelado dimensional de datos, y soluciones nativas de la nube (preferentemente en AWS) es una ventaja.
• Comprensión de Servicios AWS como Redshift, DynamoDB, Lambda, Glue, Athena, Lake Formation, IAM, SQS & SNS, junto con experiencia en la creación de plantillas CloudFormation / Terraform y conocimiento de DevOps & SRE te ganarán puntos extra.
• Al menos 7 años de experiencia en un rol de Ingeniería de Datos manejando grandes volúmenes de datos.
• Título de Licenciado o Máster en Ciencias de la Computación o equivalente.
• Resiliencia, determinación, habilidades meticulosas para resolver problemas y atención a los detalles.
• Un fuerte deseo de trabajar en un ambiente dinámico y acelerado.
• Experiencia técnica para entregar soluciones escalables de grado empresarial de manera independiente.
• Habilidades excepcionales de