Ingeniero de Datos - GCP

Ingeniero de Datos Senior – Bases de Datos Vectoriales | GCP

Kaizen Analytix LLC, una compañía de productos y servicios de análisis que ofrece a los clientes una velocidad inigualable hacia el valor a través de soluciones de análisis e información comercial procesable, está buscando candidatos calificados para el puesto de Ingeniero de Datos Senior, profesionales altamente capacitados y experimentados encargados de diseñar, desarrollar y mantener tuberías de datos y almacenes de datos en Google Cloud Platform. El candidato ideal tendrá una sólida comprensión de los principios y las mejores prácticas de ingeniería de datos, así como trabajar con conjuntos de datos masivos (más de 100 GB) que son no estructurados, como videos, imágenes de audio y texto. Buscamos candidatos que puedan apoyar proyectos de IA con la ingeniería de datos requerida para almacenar resultados basados en aprendizaje profundo, como incrustaciones vectoriales, utilizando potentes tecnologías de computación distribuida.

Responsabilidades:

Análisis y Diseño

• Realiza sesiones de recopilación de datos con los usuarios.
• Consulta con los Gerentes Técnicos y Dueños de Negocios para identificar y analizar las necesidades y problemas tecnológicos.
• Realiza diagramación de flujo de datos y/o modelado de procesos (arquitectura de código).
• Diseña, desarrolla y mantiene tuberías de datos y almacenes de datos en Google Cloud Platform.
• Trabaja con las partes interesadas para recopilar requisitos y definir modelos de datos.
• Desarrolla e implementa tuberías de datos utilizando las herramientas y servicios de Google Cloud Platform.
• Implementa controles de calidad de datos y seguimiento.
• Diagnostica problemas de datos y problemas de rendimiento.
• Trabaja con otros ingenieros para desarrollar y mantener la infraestructura de datos de la compañía.
• Se mantiene al día sobre las últimas tecnologías y tendencias de ingeniería de datos.

Alineación de Estrategia

• Trabaja con los otros miembros del equipo técnico para mejorar continuamente las estrategias de implementación, los estándares de desarrollo y otros procesos y documentación del departamento.
• Brinda asistencia técnica y mentoreo a Ingenieros de Datos de menor nivel.
• Comunica planes, estado y problemas a la gerencia regularmente.
• Se adhiere a los estándares, políticas, procedimientos del departamento y a las mejores prácticas de la industria.

Requisitos del puesto:

• Grado de licenciatura/maestría en ciencias de la computación, Sistemas de Información, o un campo relacionado
• Más de 5 años de experiencia en ingeniería de datos
• Es obligatorio tener la Certificación de Ingeniero de Datos Profesional de GCP
• Experiencia en cualquier proyecto de migración que involucre almacenamiento de datos, migrando bases de datos de una tecnología a otra.
• Fuerte programación en Python para desarrollar scripts ETL.
• Fuerte comprensión de los principios y mejores prácticas de la ingeniería de datos.
• Fuerte comprensión de Vertex AI y Vector Search.
• Experiencia con otras tecnologías de Google Cloud Platform, incluyendo BigQuery, Cloud Dataproc, Cloud Dataflow, y Cloud Data Fusion.
• Experiencia con modelado de datos y almacenamiento de datos
• Experiencia con controles de calidad de datos y seguimiento
• Experiencia con cualquier herramienta IaC como Terraform, GCP Python Clients
• Debe estar al tanto de las tuberías de CI/CD y manejar bien cualquier herramienta como Jenkins, Cloud Build y TeamCity para la creación de las tuberías necesarias para CI/CD.
• Toma la iniciativa y propone soluciones y alternativas; dispuesto a trabajar bajo plazos estrictos.
• Diagnostica los principales problemas de implementación del cliente y demuestra la habilidad para llevar a una resolución exitosa.
• Responsable del Diseño de Soluciones de extremo a extremo, Arquitectura y mejores prácticas para integrarse con el ecosistema e infraestructura de GCP.
• Habilidad para asociarse con arquitectos de dominio para desarrollar la arquitectura de soluciones de extremo a extremo, incluyendo aplicaciones, infraestructura, datos, integración, y dominios de seguridad.

Sería bueno tener:

• Experiencia necesaria con análisis de datos de redes sociales que involucren un alto volumen y alta frecuencia de datos
• Experiencia en trabajar en proyectos de desarrollo de aplicaciones centrados en las actividades de ingeniería de datos utilizando cualquier lenguaje de programación (Python, SQL, Java).
• Experiencia previa con herramientas y conceptos de big data como Hadoop, MapReduce, Spark, Hive, HBase, Apache Airflow (orquestación)