Senior Data Engineer

Sobre You.com:

You.com, una plataforma de búsqueda impulsada por IA líder en su sector, está construida sobre los principios de veracidad, precisión y transparencia, abordando los problemas comunes de las alucinaciones de la IA. Fundada por los distinguidos científicos en investigación de IA Richard Socher y Bryan McCann, You.com se erige como una fuerza innovadora en el ámbito del procesamiento de lenguaje natural (PLN).

Richard Socher, anteriormente Científico Jefe en Salesforce, es reconocido por ser el tercer investigador más citado en PLN con más de 170,000 citas. Bryan McCann fue un científico principal en Salesforce Research, centrado en aprendizaje profundo y PLN. Juntos, su impactante investigación ha revolucionado los vectores de palabras, los vectores contextuales y la ingeniería de prompts. Los logros de Richard fueron recientemente reconocidos por la lista TIME100 AI de la revista Time en 2023, como una de las "personas más influyentes en IA", y el Premio ACL Test-of-Time de 2023 por su publicación seminal de 2013.

Desde su creación, You.com ha redefinido cómo los usuarios interactúan con la información en línea a través de su Asistente de IA, abordando las necesidades cotidianas con una precisión inigualable. Aclamado como uno de los 50 Innovadores en IA de 2023 según la revista Fortune y destacado en "Las Mejores Invenciones de 2022" por la revista Time, You.com ha contribuido significativamente a resolver desafíos de los Modelos de Lenguaje de Gran Escala (LLM) en cuanto a confianza y precisión. Destacablemente, You.com introdujo el primer LLM orientado al consumidor con acceso a Internet, proporcionando respuestas citadas en tiempo real. Su API apoya a otros chatbots basados en LLM en mejorar su precisión mediante la integración en tiempo real con la web.

You.com enfatiza experiencias de chat con IA personalizadas, adaptando respuestas basadas en las preferencias del usuario mientras protege la privacidad y asegura un control transparente sobre los datos personales. La plataforma es accesible en escritorio, extensiones web de Chrome, aplicaciones para iOS y Android, y WhatsApp.

Acerca del Rol:

Estamos buscando un Ingeniero de Datos Senior - Análisis para unirse a nuestro equipo. En este rol, trabajará de manera transversal para establecer la excelencia en ingeniería de datos y ciencia de datos, mejorando el crecimiento de nuestro producto. Sus responsabilidades incluyen optimizar el diseño y el rendimiento del almacén de datos, evolucionar sistemas críticos de análisis de productos, expandir los casos de uso de datos de productos y desarrollar una cultura de datos de clase mundial. El candidato ideal tendrá experiencia dual tanto como ingeniero de datos como científico de datos, con una pasión por comprender el comportamiento del usuario y promover el crecimiento.

Responsabilidades:

• Desarrollo de Pipelines de Datos: Diseñar, construir y mantener pipelines de datos y APIs robustas. Recopilar, procesar y servir datos de varias fuentes como eventos de backend, interacciones con clientes, canales de marketing y evaluaciones de LLM para impulsar el crecimiento del producto basado en datos.
• Colaboración Interfuncional: Trabajar de manera colaborativa con gerentes de producto, equipos de marketing y científicos de datos. Identificar oportunidades de impacto significativo en el negocio, comprender los requisitos para la infraestructura de datos, tomar decisiones de ingeniería y cuantificar el impacto.
• Escalar y Optimizar: Diseñar e implementar arquitecturas de datos escalables y procesos ETL. Optimizar los pipelines de datos para el rendimiento, escalabilidad y fiabilidad en la gestión de nuestra creciente base de usuarios.
• Excelencia Operacional: Gestionar eficientemente los recursos en la nube (AWS/Azure) usando herramientas como Terraform y Kubernetes. Asegurar la instrumentación de eventos de extremo a extremo, garantizando la integridad y precisión de los datos.

Calificaciones:

• Experiencia Educativa y Profesional: Licenciatura en Ciencias de la Computación o campo relacionado, o al menos 4 años de experiencia en un rol de Ingeniería de Datos.
• Expertise Técnico: Competencia en marcos de procesamiento distribuido (Databricks/Spark), procesamiento de streams y tecnologías orientadas a eventos (por ejemplo, Kafka). Habilidades avanzadas en Python y Spark (Spark SQL, DataFrames, Spark Streaming, caché