Ingeniero de Datos del Personal
- Data Engineer
- Other places
- $160 K - $304 K
- Full Time
NVIDIA está contratando a ingenieros senior de sistemas distribuidos con énfasis en ingeniería de datos para desarrollar y escalar sus plataformas de IA y aprendizaje profundo. Nuestro equipo está construyendo una plataforma de desarrollo 2.0 de software con un enfoque en bases de datos para el desarrollo de aplicaciones de IA. Juntos, avanzaremos la capacidad de NVIDIA para construir e implementar soluciones líderes para una amplia gama de aplicaciones basadas en IA, como vehículos autónomos, atención médica, realidad virtual, motores gráficos y computación visual. Junto con los socios de NVIDIA, ¡daremos vida a los vehículos autónomos!
Qué estarás haciendo:
Arquitectura y construcción de compromiso escalable y distribuido para la mejora, el cálculo y las tuberías de datos que ayudarán a alimentar el Data Lake de TI como una plataforma centralizada de datos
Diseño y construcción de un lago de datos escalable de tamaño PB y interfaces de consulta de datos estructurados/desestructurados e microservicios para ingerir, indexar, extraer, transformar y componer grandes conjuntos de datos.
Construir patrones de datos de Costos y Usos en la Nube para rastrear, recopilar y transformar TB de datos a diario.
Habilitar modelos/vistas de datos en TB de datos que pueden ser consumidos por herramientas analíticas como PowerBI. Crear análisis PBI para informes financieros.
Construir e implementar soporte para conjuntos de datos versionados, rastreables e inmutables en un lago de datos de manera distribuida y escalable.
Permitir una selección de datos eficiente y considerada - ¡uno de los ingredientes clave para un aprendizaje automático exitoso!
Manos en la escritura de código de alta calidad, buen diseño y arquitectura, completamente probado y revisado por pares.
Colaborar con múltiples equipos de productos/ingeniería para entender sus requisitos de datos y cálculo (SW, HW, Automóvil, AI) para integrar innovaciones y algoritmos increíbles en nuestros sistemas de producción
Automatizar todo para medir, probar, actualizar, monitorear y alertar la plataforma de datos.
Lo que necesitamos ver:
Licenciatura (o experiencia equivalente) o Másters en Arquitectura de Computadoras, Ciencias Informáticas o Ingeniería de Datos intensivos.
Más de 8 años de experiencia probada en Ingeniería de Datos, habiendo trabajado en el diseño y desarrollo de software con Big Data, ecosistema de Data Lake/ Lake House, Data Analytics, arquitectura de microservicios de backend y tipos de datos heterogéneos a gran escala.
Experiencia profunda y probada en la creación de tuberías ETL usando Databricks, Spark, Python, SQL, Scala, Kafka, Presto, Parquet, Streaming, eventos, bots, ecosistema de AWS/nube
Competente en el desarrollo de Micro Servicios y en el uso de marcos de AWS como SQS, Stream, Kubernetes, EC2, S3, Lambda, etc.
Experiencia con herramientas de tuberías/análisis/visualización de datos como Elastic stack, Logstash, Kibana, Kafka, Grafana, Splunk, Pandas, Message brokers, Data modeling.
Experto en arquitectura de Data Lakehouse y técnicas de Databricks de extremo a extremo, incluyendo componentes de Ciencia de Datos
Ha trabajado en el ciclo de vida de los datos de extremo a extremo, desde la Ingestión de Datos, la Transformación de Datos y la capa de Consumo de Datos. Versado en API y su usabilidad.
Conocimiento de soluciones en la nube como Kendra, SageMaker, Auto-ML, Big Query, RedShift, Glue, Athena.
Formas de destacar entre la multitud:
Entender y tener experiencia en análisis de costos y usos es un plus.
Experto en Spark, Parquet, streaming, eventos, Kafka, telemetría, MapReduce, Hadoop, Hive, Presto, Spark, enfoques de consulta de datos y tableros de control.
El que ha implementado casos de uso empresariales como CMDB, Gobernanza, clasificación de series temporales, detección de anomalías de telemetría, registros e ingestión de datos en tiempo real a través de APIs.
Experiencia con datos estructurados como Avro, Parquet, Protobuf, Thrift, y conceptos como la evolución de esquemas.
Conocimiento práctico de Amazon Web Services, Kubernetes, Docker es un plus.
NVIDIA es ampliamente considerada como uno de los empleadores más atractivos del mundo de la tecnología. Tenemos algunas de las personas más proactivas y trabajadoras del planeta trabajando para nosotros. Si eres creativo y autónomo, ¡queremos saber de ti!
El rango de salario base es de 160,000 USD - 304,750 USD. Tu salario base será determinado en base a tu ubicación, experiencia, y el sueldo de los empleados en puestos similares.También serás elegible para acciones y beneficios.