Arquitecto de Datos

Resumen del Puesto
En Effectual, los ingenieros de datos son responsables de diseñar, construir y mantener conjuntos de datos que pueden ser aprovechados en proyectos de datos. Como tal, trabajan estrechamente tanto con científicos de datos, arquitectos de datos, como con profesionales de la gobernanza de datos. Los ingenieros de datos diseñan, implementan y mantienen modernas tuberías de datos. Por tanto, estamos buscando un Ingeniero Sr. Databricks que esté comprometido con MLOPS como su misión principal.

Los proyectos típicos se centran en áreas tales como:

• Construir Tubos de Datos Modernos
• Aporte de Fuentes de Datos Crudos y Métodos ETL
• Ingeniería de Características
• Cambios y Pruebas de Modelos
• Implementación de Análisis

¿Por qué unirse a Effectual?
Effectual es una compañía moderna de servicios profesionales y administrados en la nube que trabaja con empresas comerciales y el sector público para mitigar su riesgo y permitir la modernización de TI. Somos un equipo profundamente experimentado y apasionado de solucionadores de problemas que aplican metodologías probadas a los desafíos empresariales en Amazon Web Services y VMware Cloud en AWS. Effectual fue nombrado Socio del Año en Crecimiento de VMware Cloud en AWS por AWS en re:Invent 2021. La compañía obtuvo el premio al Proveedor de Servicios de Cloud del Año en los Channel Innovation Awards 2021.

Effectual es un socio validado de AWS MSP, con más de 200 certificaciones de AWS. Hemos obtenido la Competencia de Migración de AWS, la Competencia DevOps de AWS, la Competencia Móvil de AWS, la Competencia SaaS de AWS y las designaciones de Competencia Gubernamental y Sin Fines de Lucro de AWS. Effectual es miembro de los Programas de Socios del Sector Público y Bien Arquitectados de AWS, así como de los Programas GovCloud de AWS (EE.UU.) y Autoridad para Operar en AWS. Además, Effectual es un Socio Principal de VMware en VMware Cloud en AWS.
Los empleados de Effectual experimentan una cultura divertida, rápida e inclusiva. Nuestra estrategia de nube y diseño, desarrollo de aplicaciones, migraciones, datos y análisis y gestión moderna de la nube significa que quizás nunca tengas que dejar la empresa si deseas aprender más y probar algo nuevo. Además, ofrecemos seguros médicos, dentales, de visión, para mascotas y de vida, así como tiempo libre remunerado, 14 días feriados y un 401k con contribución de la empresa. ¡Considera unirte a nuestro equipo hoy!

Deberes y Responsabilidades Esenciales

Las funciones esenciales incluyen, pero no se limitan a lo siguiente:

• Construir, desplegar, probar y mantener arquitecturas y tuberías de datos dentro de Databricks, incluyendo pero no limitado a (Delta Lake y Unity Catalog) y ecosistemas de AWS.      
• Analizar y organizar datos brutos.    
• Construir la infraestructura requerida para una extracción, transformación y carga óptima de datos de una amplia variedad de fuentes de datos utilizando Databricks, las tecnologías de 'big data' de AWS y SQL.    
• Desarrollar código y scripts para arquitectos de datos, científicos de datos e ingenieros de calidad de datos.       
• Llevar a cabo la adquisición de datos.
• Desarrollar procesos de conjuntos de datos.
• Identificar formas de mejorar la fiabilidad, eficiencia y calidad de los datos.
• Preparar datos para modelos prescriptivos y predictivos.    
• Automatizar los procesos de recogida y análisis de datos, la liberación de datos y las herramientas de informes.      
• Construir algoritmos y prototipos.
• Desarrollar herramientas y programas analíticos.      
• Colaborar con científicos y arquitectos de datos.

Habilidades y Experiencia Esenciales

• Debe tener más de 5 años de experiencia con Databricks, AWS, SQL, RDS, NoSQL, diseño de bases de datos, lenguajes de programación (Scala y/o Python).
• Conocimiento avanzado y competencia técnica con ETL, almacenamiento de datos basado en la nube, y Apache Spark.
• Sólido conocimiento de los servicios específicos de AWS, incluyendo Lake Formation, Amazon Aurora, Amazon Data Pipeline, Amazon Athena, Glue, Amazon S3, Amazon DynamoDB, Amazon Relational Database Service (RDS), Amazon Elastic Map Reduce (EMR), Amazon Kinesis, Database Migration Services, y Amazon Redshift.
• Familiaridad y comprensión de las herramientas comunes de Ingeniería de Datos como: Apache Spark, Apache Airflow, Apache Lite, Apache Kafka, dbt, great_expectations·
• Un fuerte deseo de utilizar un marco de la "Jerarquía de necesidades de análisis":
• Coleccionar/Limpiar/Definir & Rastrear/Analizar/Optimizar & Predecir
• Fuertes habilidades de comunicación verbal y escrita, con la capacidad de trabajar eficazmente en organizaciones internas y externas.
• Capacidad demostrada para pensar estratégicamente acerca de los negocios, el producto y los desafíos técnicos. 
• • El Databricks Certified Data Engineer Associate o El Databricks Certified Data Engineer Professional (se prefiere al Profesional)
  Y